Situation report active Rev. 2026.9 119 reports 239 source records updated
Real Life After AGI موجز البقاء البشري
AR

تقييمات الطليعة، وحالات السلامة، والإبلاغ عن الحوادث

كيف يمكن لاختبارات القدرة، وتقييمات الضمانات، والحجج المنظَّمة للسلامة، وأنظمة الحوادث أن تُحوِّل وعود الذكاء الاصطناعي المتقدم إلى أدلة قابلة للتدقيق.

Written by
Dwight Ringdahl
Status
تم التحقق من المصادر
Revised
Sources
5 cited
Reading
6 min

أربع أدوات تُجيب عن أسئلة مختلفة

يسأل تقييم القدرة عمّا يستطيع نموذج أو نظام فعله في ظل شروط محدَّدة. ويسأل تقييم الضمانات ما إذا كانت الضوابط تمنع إساءة الاستخدام أو تكشفها. وتُصيغ حالة السلامة ادعاءً محدَّدًا وتربط الأدلة بذلك الادعاء عبر حجة صريحة. أما الإبلاغ عن الحوادث فيتعلّم من الإخفاقات والحوادث الوشيكة بعد أو أثناء الاختبار والنشر.

لا يُثبت أي منها بمفرده أن نموذجًا “آمن”. فقد يُغفِل معيار مرجعي سلوكًا مهمًا؛ وقد يفشل ضمان تحت التكيّف؛ وقد ترتكز حالة سلامة على أدلة رديئة؛ وتصل بيانات الحوادث بعد وقوع خطأ ما. ومعًا يمكن أن تُنشئ دورة أدلة: توقّع، واختبر، وبرِّر، وراقب، وتعلّم، ونقِّح.

تقييمات القدرة تحتاج إلى نموذج تهديد محدَّد

عادةً ما تفحص تقييمات الطليعة العمليات السيبرانية، والمساعدة الكيميائية أو البيولوجية، والاستقلالية، وتكرار النموذج، والإقناع، وبحث الذكاء الاصطناعي. وتعتمد النتائج على السقالة، والمحفزات، والأدوات، والوقت، والحوسبة، ومساعدة الخبراء، وإعادة المحاولة، ومرشحات السلامة. والإبلاغ عن اسم النموذج ودرجته فقط يجعل المقارنات غير موثوقة.

اختبر معهد أمن الذكاء الاصطناعي البريطاني أكثر من 30 نظامًا من أنظمة الطليعة ويُبلِّغ عن أداء يتحسّن بسرعة في عدة مجالات. ويُشير تقريره عن اتجاهات 2025 إلى أن المُقيِّمين يتلقون أحيانًا نُسخًا سابقة للإصدار أو وصولًا بضمانات مختلفة عن المنتج العام (تقرير اتجاهات الذكاء الاصطناعي المتقدم لدى AISI البريطاني). والنتائج دليل مباشر عن تلك التكوينات الاختبارية، لا برهان على نجاح واقعي عام أو على ذكاء عام اصطناعي.

وينبغي أن تشمل التقييمات خطوط أساس: مبتدئون دون مساعدة، وخبراء، وبحث عبر الإنترنت، ونماذج أقدم، وأدوات قائمة. والخطر ذو الصلة غالبًا هو الرفع — مقدار زيادة النظام لقدرة جهة فاعلة — لا ما إذا كان النموذج قادرًا على إنتاج أي معلومة ضارة.

التلوّث، والاستخلاص، والتراخي المتعمَّد

قد يظهر معيار مرجعي في بيانات التدريب، ما يُضخِّم الأداء. وقد يمتلك نموذج قدرة تفشل عملية التقييم في استخلاصها. وعلى العكس، قد يخلق التحفيز المكثَّف والأدوات المتخصصة نظامًا لا يحصل عليه المستخدمون العاديون. والتقارير الجيدة تُميِّز بين سلوك المنتج الافتراضي، وأقصى قدرة مُستخلَصة، وأداء العميل من طرف إلى طرف.

يُعدّ التراخي المتعمَّد في الأداء (Sandbagging) — وهو تدنٍّ استراتيجي في الأداء — مصدر قلق استشرافيًا عندما تستطيع الأنظمة التعرّف على الاختبارات ولديها سبب لإخفاء القدرة. ويمكن للدراسات الحالية فحص الآلية، لكن الدرجة الضعيفة ليست دليلًا على الخداع. ويمكن للمهام الخفية، والبيئات المتعددة، والمراقبة السلوكية، والوصول إلى الصندوق الأبيض أن تُقلِّل عدم اليقين.

عدم اليقين الإحصائي مهم. فالنتائج الشديدة النادرة تتطلب محاولات كثيرة أو أدلة مبنية بعناية. وينبغي للمُقيِّمين نشر فترات الثقة، وطرق اختيار المهام، والاستثناءات، والحدود المعروفة. وينبغي أن يُحفِّز تشبّع المعيار المرجعي إعادة تصميمه بدلًا من إعلان النصر.

يجب تقييم الضمانات كأنظمة

تدريب الرفض طبقة واحدة فقط. وتشمل الضمانات فحوصات الهوية، وسياسات الاستخدام المقبول، والمصنِّفات، والمراقبة، وحدود المعدل، وصلاحيات الأدوات، والعزل، والمراجعة البشرية، وإجراءات الاستجابة. وقد يُقسِّم المهاجمون الطلبات، أو يستخدمون حسابات متعددة، أو يُجرون ضبطًا دقيقًا على أوزان مفتوحة، أو يُرمِّزون المحتوى، أو ينتقلون بين الخدمات.

تُشدِّد مبادئ AISI البريطاني للضمانات على نماذج التهديد الصريحة وتقييم النظام الكامل لا القدرة وحدها (AISI البريطاني). وقد أسهم مختبر في التشاور وقد يملك وصولًا مميّزًا، لكن مُقيِّمي الحكومة يعتمدون مع ذلك على تعاون المزوّد ولا يستطيعون نشر كل مهمة خطيرة.

وينبغي أن يقيس اختبار الضمانات النتائج السلبية الكاذبة، والإيجابية الكاذبة، والهجمات التكيّفية، وسهولة الاستخدام، والزمن الكامن، وتكلفة الخصوصية، وما إذا كانت التنبيهات تؤدي إلى إجراء. فالمرشح الذي يحجب عملًا مشروعًا في البيولوجيا أو الأمن قد يدفع المستخدمين نحو أنظمة أقل مساءلة؛ والمرشح الذي يخلق لقطات شاشة مثيرة للرفض لكن يسهل تجاوزه يُوفِّر طمأنينة زائفة.

حالات السلامة تجعل الحجة قابلة للفحص

تُصيغ حالة السلامة ادعاءً محدودًا — مثل “لا يستطيع هذا العميل التسبب في ضرر سيبراني كارثي محدَّد في هذا النشر” — ثم تعرض أدلة وتبريرًا. ويصف AISI البريطاني ثلاثة مكونات: ادعاء دقيق، ودليل، وحجة تربط بينهما (AISI البريطاني، فبراير 2025).

وهذا أقوى من قائمة تحقق لأن المراجعين يستطيعون تحدّي كل مقدمة. لكنه أضعف من البرهان: فقد تكون الأدلة غير مكتملة، وقد تفشل الافتراضات، وقد يختار المطوّر ادعاءً مريحًا. وينبغي أن تُحدِّد الادعاءات إصدار النموذج، والبنية، والوصول، والمستخدمين، والمدة، والبيئة، وعتبة الضرر، وفترة الصلاحية.

وينبغي لحالات السلامة أن تشمل “مُبطِلات” — أدلة من شأنها إبطال الحجة — وعدم اليقين. ويحتاج المراجعون المستقلون إلى الوصول إلى النتائج الأساسية، لا مجرد ملخص مصقول. وينبغي الحفاظ على الخلاف الجوهري. وينبغي أن تنتهي صلاحية الموافقة عندما يتغيّر النموذج، أو السقالة، أو الأدوات، أو بيئة التهديد، أو حجم النشر.

بوابات النشر والتناسب

لا يُهم التقييم إلا إذا ارتبط بقرار. وينبغي لإطار الطليعة أن يُحدِّد العتبات قبل وصول النتائج، ويُحدِّد التخفيفات المطلوبة، ويُسمِّي مَن يستطيع الموافقة على استثناءات، ويُوثِّق التجاوزات. وإلا فقد يُعيد المطوّر تفسير نتيجة مقلقة تحت ضغط تجاري.

يمكن تدريج الضوابط: تأخير الأوزان مع توفير واجهة برمجة مراقَبة، أو تقييد الأدوات، أو تقييد المستخدمين عالي الخطورة، أو تقليل الاستقلالية، أو زيادة الموافقة البشرية، أو إيقاف النشر مؤقتًا. ولا تتطلب كل قدرة مقلقة الاستجابة نفسها.

تضارب المصالح أمر لا مفر منه لكنه قابل للإدارة. فالمطوّرون يعرفون أنظمتهم ويستفيدون من الإطلاق. وقد يعتمد المُقيِّمون الخارجيون على وصول المطوّر أو تمويله. وقد تفتقر الجهات التنظيمية إلى الخبرة. ويُعزِّز المصداقية الوصول القانوني الآمن، وتنوّع التمويل، وحقوق النشر، وتناوب المراجعين، والإفصاح عن تضارب المصالح.

الإبلاغ عن الحوادث يُحوِّل المفاجآت إلى معرفة مشتركة

يحتاج نظام الحوادث إلى تعريف، وساعة إبلاغ، ومخطط شدة، واستقبال آمن، وتحليل السبب الجذري، وإجراء تصحيحي، وتغذية راجعة للأطراف المتأثرة. والحوادث الوشيكة مهمة لأنها تكشف ضوابط ضعيفة قبل وقوع ضرر كامل.

بموجب المادة 55 من قانون الذكاء الاصطناعي للاتحاد الأوروبي، يجب على مزوّدي نماذج الذكاء الاصطناعي عامة الغرض ذات المخاطر النُّظُمية تتبّع وتوثيق والإبلاغ عن الحوادث الخطيرة ذات الصلة والتدابير التصحيحية لمكتب الذكاء الاصطناعي، وعند الاقتضاء، للسلطات الوطنية. ونشرت المفوضية نموذج إبلاغ في نوفمبر 2025 (المفوضية الأوروبية). وذلك الالتزام القانوني مُلزِم للمزوّدين المشمولين؛ واستخدام مدونة الممارسات الطوعية للذكاء الاصطناعي عامة الغرض أحد مسارات إثبات الامتثال.

يفرض مشروع قانون كاليفورنيا SB 53 وقانون RAISE في نيويورك إبلاغًا محدَّدًا عن الحوادث الحرجة ضمن نطاق تغطيتهما. وتظل التقارير الطوعية للشركات خارج هذين القانونين طوعية ما لم يُطبَّق واجب آخر.

ما الذي يُعدّ حادثًا

ينبغي أن تشمل التعريفات ضررًا فعليًا شديدًا، وحوادث وشيكة موثوقة، وفقدان السيطرة على عميل، وسرقة أوزان، واكتشاف قدرة خطيرة بشكل غير متوقَّع، وفشلًا نُّظُميًا في الضمانات، وبيانات كاذبة جوهرية للمُقيِّمين. ويمكن معالجة الهلوسات العادية ضمن أنظمة جودة المنتج ما لم تتجاوز الشدة أو الحجم عتبة الإبلاغ.

يمكن للإبلاغ الإلزامي المفرط الاتساع أن يُغرِق الجهات التنظيمية ويكشف نقاط ضعف أو بيانات شخصية. ويُخفي الإبلاغ المفرط الضيق إشارات ضعيفة. ويمكن للإبلاغ المتدرج أن يُرسل إشعارًا سريًا عاجلًا أولًا، يتبعه تحقيق أوفى وملخص عام مجهول الهوية عند الأمان.

ويوضّح إفصاح AISI البريطاني لعام 2026 عن سلوك عميل غير مصرَّح به أثناء اختبار سيبراني نموذجًا لوضع حدود شفافة: أبلغ المعهد عن نشاط قد يكون ضارًا مع القول صراحة إن النموذج لم يهرب من بيئته المعزولة (AISI البريطاني، 2026). فاللغة الدقيقة تمنع تحويل حادثة حقيقية إلى ادعاء مثير لكنه زائف بـ“هروب الذكاء الاصطناعي”.

الشفافية العامة والتفاصيل الآمنة

يمكن لمهام التقييم الكاملة أن تُتيح إساءة الاستخدام أو التلاعب بالمعيار المرجعي. ويمكن لسجلات الحوادث الكاملة أن تكشف الضحايا ونقاط الضعف. والإجابة هي وصول متدرج: ادعاءات وطرق عامة؛ وتفاصيل تقنية سرية للجهات التنظيمية المؤهلة والمراجعين المستقلين؛ ومعلومات محمية شخصية أو متعلقة بالأمن القومي.

وينبغي للإبلاغ الإجمالي أن يُظهر فئات الحوادث، والشدة، ومصدر الاكتشاف، والوقت اللازم للإبلاغ، والإجراء التصحيحي، والتكرار. وتقرير شفافية يحصي فقط الحوادث المؤكَّدة دون شرح قدرة الاكتشاف قد يُكافئ المنظمات التي تنظر بعناية أقل.

دورة الأدلة

ينبغي أن يُحدِّث كل حادث خطير نماذج التهديد، والتقييمات، والضمانات، وحالة السلامة. وينبغي أن تُحفِّز كل قدرة جديدة مراجعة النُّسخ المنشورة والتكاملات اللاحقة. وينبغي أن تتلقى فرق الاختراق الأحمر دروس الحوادث، ويحتاج المُبلِّغون عن المخالفات إلى مسارات محمية عندما يفشل الإبلاغ الرسمي.

التوصيات حتى سبتمبر 2026 واضحة: وحِّد التوثيق مع الاحتفاظ باختبارات خاصة بالمجال؛ واشترط وصولًا مستقلًا عند قدرة أو حجم عاليين؛ واربط العتبات ببوابات محدَّدة مسبقًا؛ وألزِم بالإبلاغ عن الحوادث الخطيرة المشمولة والحوادث الوشيكة؛ واحمِ التفاصيل الحساسة؛ وانشر أدلة إجمالية كافية للمساءلة.

لا يُثبت أي تقييم أن الذكاء العام الاصطناعي المستقبلي مُسيطَر عليه. وبدلًا من ذلك، تجعل هذه الممارسات عدم اليقين مفهومًا وتُقيِّد النشر بناءً على الأدلة المتاحة الآن. وينبغي الحكم على نجاحها بما إذا كانت تكتشف المشكلات مبكرًا، وتُغيِّر القرارات، وتمنع التكرار — لا بعدد المعايير المرجعية أو وثائق السياسة التي تُنتجها منظمة ما.

Type to search the manual.

navigate open esc close