Situation report active Rev. 2026.9 119 reports 239 source records updated
Real Life After AGI موجز البقاء البشري
AR

الإشراف القابل للتوسع: مراقبة أنظمة أكثر قدرة

الأساليب التقنية التي يختبرها الباحثون لتمكين المشرفين البشر من مراقبة أنظمة ذكاء اصطناعي أقدر منهم، كما اختُبرت عبر مناظرة الذكاء الاصطناعي.

Written by
Dwight Ringdahl
Status
تم التحقق من المصادر
Revised
Sources
2 cited
Reading
5 min

المشكلة هي التحقق، لا مجرد الذكاء

يُشرف الناس روتينيًا على عمل لا يستطيعون إعادة إنتاجه بمفردهم. فالقاضي يستمع إلى الخبراء؛ والمحرر يتحقق من المصادر؛ وفريق البرمجيات يستخدم الاختبارات؛ وتُعاين الجهة التنظيمية السجلات. يتوسّع الإشراف عبر التفكيك، والأدلة، والمؤسسات، والحوافز. ويخلق الذكاء الاصطناعي نسخة أصعب عندما تُنتج الأنظمة عملًا أكثر، وتتحرك أسرع، وتعمل عبر مجالات، أو تستطيع تشكيل الأدلة التي يراها المراجعون.

يستخدم البحث الحالي نماذج أضعف ومهامًا محدودة كتشبيهات. ولم تُثبت أي تجربة إشرافًا موثوقًا على نظام خارق حقًا ومخادع استراتيجيًا. و“الإشراف القابل للتوسع” اسم لأجندة بحثية، لا آلية سلامة منجزة.

ابدأ بالمهام القابلة للتحقق

بعض المهام مكلفة الإنتاج لكن رخيصة الفحص. فيمكن تشغيل البرمجيات مقابل اختبارات؛ ويمكن التحقق من برهان رياضي آليًا؛ ويمكن لتحويل قاعدة بيانات أن يُلبي ثوابت. وهذه المهام مرشحات أفضل للمساعدة عالية القدرة من نصيحة سياسية مفتوحة النهاية حيث الصحة موضع نزاع.

والتحقق جيد بقدر جودة المواصفة. فقد تُغفل الاختبارات حالات مهمة، وقد تُرمِّز البيانات الرسمية الهدف الخطأ، وقد يتلاعب نظام بالبيئة حول المُدقِّق. ويجمع الإشراف القوي بين الفحوصات الرسمية والمراجعة العدائية والمراقبة الواقعية.

التفكيك والمساعدة التكرارية

يمكن تقسيم مهمة معقدة إلى مهام فرعية يستطيع الناس تقييمها، مع مساعدة الذكاء الاصطناعي في تنظيم الأدلة. وتستخدم نمذجة المكافأة التكرارية والأساليب ذات الصلة نماذج لمساعدة البشر في الحكم على عمل يتجاوز الانتباه أو الخبرة المتاحة. والأمل أن تُنتج خطوات قابلة للتحقق محليًا كلًا موثوقًا.

يمكن أن يفشل التفكيك عندما تهم التفاعلات الشاملة. فقد تحتوي خطة مقنعة على خطوات معقولة فرديًا تخلق مجتمعةً ضررًا. وقد يشارك النموذج المُشرِف النقاط العمياء نفسها مع النظام الذي يُحكَم عليه. وتُوسِّع العملية أيضًا سطح الهجوم لأن الملخصات يمكن أن تُغفل أدلة مزعجة.

والبروتوكولات الجيدة تحافظ على روابط بالمصادر الأولية، وتفحص عشوائيًا العمل ذا المستوى الأدنى، وتُسنِد مراجعين مستقلين للمخاطر العابرة للمجالات.

المناظرة والنقد العدائي

في مناظرة الذكاء الاصطناعي، تعرض الأنظمة حججًا متنافسة أمام حكم. وقد يكشف ناقد عيبًا لن يجده إنسان بمفرده. وتُقارن التجارب المناظرة، والاستشارة، والإجابة المباشرة مع حكّام أضعف. ويمكن للنتائج أن تُوضِّح متى تساعد المساعدة العدائية، لكنها تعتمد على المهمة، والحكم، وبنية المعلومات، وقوة النماذج النسبية.

يمكن للمناظرة أن تُكافئ البلاغة بدلًا من الحقيقة. فقد يتشارك نظامان مقدمة كاذبة، أو يتواطآن، أو يُثقلان الحكم، أو يُفصحان بشكل انتقائي عن أدلة. ويمكن لجولات أكثر أن تزيد المعلومة أو تزيد الإقناع فقط. ويتطلب النشر معايرة مقابل إجابات معروفة ومراقبة ما إذا كان الحكّام يختارون الحقيقة للأسباب الصحيحة.

التعميم من الضعيف إلى القوي

سألت دراسة OpenAI لعام 2023 ما إذا كانت تسميات من نموذج أضعف يمكن أن تُدرِّب نموذجًا أقوى ليتفوّق على مُشرِفه. وأنتج الضبط الدقيق الساذج بعض التعميم من الضعيف إلى القوي، بينما ترك فجوة كبيرة من القدرة الكامنة للنموذج الأقوى. وشدّد المؤلفون على أوجه عدم التماثل بين هذا الإعداد والإشراف على أنظمة خارقة مستقبلية (OpenAI، 2023).

وهذه التجربة دليل على أن الإشراف الضعيف لا يفرض بالضرورة سقف أداء المُشرِف كاملًا. وليست دليلًا على أن مُشرِفًا ضعيفًا يُوائم بموثوقية قيم عميل أقوى، أو يكشف الخداع، أو يضبط سلوكًا طويل الأفق. أُنتج العمل من قِبل مطوّر طليعي مهتم بالمواءمة الفائقة وينبغي إعادة إنتاجه عبر مختبرات وإعدادات.

الإشراف على العملية والنتائج

يُكافئ إشراف النتائج إجابة نهائية صحيحة. ويُقيِّم إشراف العملية التفكير أو الإجراءات الوسيطة. ويمكن لدليل العملية أن يُحدِّد مواقع الأخطاء ويُثبِّط الاختصارات، لكن فقط إذا كانت العملية المُسجَّلة أمينة. فقد يُولِّد نموذج تبريرًا مُطمئنًا بعد بلوغ إجابة عبر مسار آخر.

يمكن لمراقبة الإجراءات الخارجية — الملفات المُتاح إليها، والأوامر المُصدَرة، والمال المُنفَق، والرسائل المُرسَلة — أن تكون أكثر موثوقية من تفسير نثر عن النية. وتجعل السجلات المقاومة للتلاعب، والصلاحية الدنيا، والعزل، وبوابات الموافقة الإشراف ملموسًا. وقد تُكمِّل قابلية التفسير الداخلية تلك الضوابط لكنها لا تحل محلها.

العوامل البشرية هي عنق الزجاجة

يعاني المراجعون من الإرهاق، وتحيّز الأتمتة، وضغط الوقت، وتضارب الحوافز. والنقرة البشرية ليست إشرافًا ذا معنى إذا كانت الموافقة روتينية، أو كانت الأدلة غير قابلة للقراءة، أو كان رفض النظام مُعاقَبًا عليه. وينبغي للواجهات أن تُظهر عدم اليقين، والخلاف، والمصدر، والعواقب بدلًا من مجرد إجابة موصى بها.

تحتاج المؤسسات إلى ملاك وظيفي، وتصعيد محمي، وسلطة لإيقاف النشر. ويمكن لاستراتيجيات أخذ العينات توجيه الانتباه البشري النادر إلى الحالات الشاذة أو عالية الأثر. وينبغي اختبار جودة المراجعة بأخطاء مزروعة وقياسها عبر الزمن.

الخبرة بالمجال مهمة أيضًا. فقد لا يتعرّف مراجع عام على عيب قانوني أو بيولوجي أو أمني دقيق. وتزيد اللجان متعددة التخصصات التغطية لكنها يمكن أن تُميِّع المسؤولية. وينبغي أن يكون لكل قرار مالك مسؤول مُسمّى.

الافتراضات العدائية

يختلف الإشراف على الأخطاء العادية عن الإشراف على نظام يحاول فعليًا اجتياز التقييم. فقد يتصرف نظام عدائي جيدًا حتى تتغيّر الصلاحيات، أو يستغل المراقب، أو يُخفي معلومات في المخرجات، أو ينسّق عبر نُّسخ. وينبغي أن يُحدِّد البحث ما إذا كان يفترض أخطاء صادقة، أو اختراق مكافأة، أو وعيًا بالموقف، أو خداعًا استراتيجيًا.

يخلق استخدام ذكاء اصطناعي لمراقبة آخر خطرًا مترابطًا. ويمكن لتنوّع عائلات النماذج، والأدوات، وبيانات التدريب، والمؤسسات أن يُقلِّل الفشل المشترك النمط، رغم أن التنوّع الظاهر قد يعتمد مع ذلك على بنية تحتية ومعايير مرجعية مشتركة.

ما الذي يمكن نشره الآن

بالنسبة للأنظمة الحالية، تستطيع المؤسسات:

  1. تصنيف الإجراءات حسب العاقبة وقابلية التراجع؛
  2. السماح بالتنفيذ التلقائي فقط في فئات منخفضة الأثر؛
  3. اشتراط موافقات متعددة للأمن، والمالية، والصحة، أو التواصل العام؛
  4. استخدام فحوصات حتمية وبيانات مستقلة حيثما أمكن؛
  5. تسجيل المحفزات، واستدعاءات الأدوات، وإصدارات النموذج، والموافقات، والنتائج؛
  6. اختبار المراجعين بإخفاقات معروفة؛
  7. الحفاظ على بدائل يدوية والتدرّب على الإيقاف؛
  8. مراجعة الحوادث وتحديث الصلاحيات.

تُقلِّل هذه الضوابط المخاطر حتى لو ظلت نظرية الإشراف القابل للتوسع غير محلولة. كما تُولِّد أدلة عن معدلات الفشل والسلوك البشري.

الادعاءات البحثية تحتاج إلى مقاييس تشغيلية

الدقة على معيار مرجعي غير كافية. وينبغي أن تقيس تقييمات الإشراف المعايرة، وكشف الإخفاقات النادرة الشديدة الخطورة، وعبء الإنذارات الكاذبة، ومقاومة الإقناع والتواطؤ، والنقل عبر المجالات، ووقت المراجع، والأداء تحت تحوّل التوزيع. وينبغي مقارنتها بخبراء دون مساعدة وضوابط أبسط.

وينبغي أن يُفصح النشر عمّن موّل العمل، والوصول إلى النموذج، واختيار المُقيِّمين، والمحاولات المُستبعَدة، وما إذا كان الباحثون منتسبين لمطوّر. وطريقة سلامة لا يستطيع فحصها إلا مزوّد النموذج تُوفِّر ضمانًا عامًا أضعف من طريقة أُعيد إنتاجها بشكل مستقل.

العلاقة بالقانون

يمكن للجهات التنظيمية أن تشترط حالة سلامة، وتقييمًا مستقلًا، وسجلات، وإبلاغًا عن الحوادث، وبشرًا مسؤولين. ولا تستطيع تشريع حل تقني إلى الوجود. وعلى العكس، ينبغي ألا يُبرِّر تسمية الإشراف مشكلة بحثية نشرًا غير مضبوط. ويمكن للقانون تقييد الصلاحيات والحجم حتى تدعم الأدلة التوسّع.

توفّر التزامات المخاطر النُّظُمية في قانون الذكاء الاصطناعي للاتحاد الأوروبي إطارًا قانونيًا واحدًا للتقييم والتخفيف، لكن الامتثال ليس دليلًا على المواءمة. ويجب أن تتطور المعايير والتدقيقات مع القدرة.

والحالة الصادقة في سبتمبر 2026 أن الإشراف القابل للتوسع يحتوي على عناصر واعدة — التحقق، والتفكيك، والنقد، والتعلّم من الضعيف إلى القوي، والمراقبة، والعوامل البشرية — لكن دون حل عام. والاستجابة الصحيحة هي استقلالية متدرجة وأدلة متعددة الطبقات، لا الانتظار السلبي للكمال أو افتراض أن زر موافقة بشري كافٍ.

References

Summarized position

Collin Burns found that a GPT-2-level model could help elicit close to GPT-3.5-level performance from GPT-4.

Collin Burns, Lead author; OpenAI Superalignment team
"Weak-to-Strong Generalization" (arXiv), Primary source
  1. OpenAI، 2023 cdn.openai.com

Type to search the manual.

navigate open esc close