قانون التوسع علاقة تجريبية
في تعلّم الآلة، يصف قانون التوسع كيف تتغير كمية مقيسة مع نمو أحد المدخلات. وقد وجد الباحثون، بالنسبة للنماذج اللغوية الكبيرة، أن خسارة التدريب غالبًا ما تتحسن بطريقة سلسة ويمكن التنبؤ بها نسبيًا مع زيادة حجم النموذج، وبيانات التدريب، والحوسبة. وقد أفاد عمل OpenAI لعام 2020 بعلاقات على شكل قانون القوة ضمن النطاقات المُختبَرة (Kaplan وآخرون). وأظهرت دراسة “Chinchilla” اللاحقة من DeepMind أنه، في ظل ميزانية حوسبة ثابتة، دُرِّبت نماذج كثيرة على بيانات قليلة جدًا، وأن المعاملات ورموز التدريب ينبغي أن تُوسَّع معًا بتوازن أكبر (Hoffmann وآخرون).
كانت هذه النتائج مهمة لأنها جعلت عمليات التدريب المكلفة أكثر قابلية للتنبؤ. إذ يمكن لمختبر ما إجراء تجارب أصغر، وتقدير كيف ستتغير الخسارة عند نطاق أكبر، وتخصيص ميزانية بين البيانات والمعاملات والحوسبة. لكن القانون يصف قياسات ضمن نظام مُلاحَظ. وهو ليس ضمانًا فيزيائيًا بأن كل قدرة ستتحسن إلى ما لا نهاية، ولا بأن كفاية عدد من معالجات الرسوميات ستُنتج تلقائيًا ذكاءً عامًا اصطناعيًا.
الحوسبة ليست سوى مكوّن واحد
عادةً ما تعني “الحوسبة” عدد العمليات العددية المستخدمة في التدريب أو الاستدلال، لكن حتى هذا الاختصار يخفي فروقًا مهمة. يمكن لعمليتي تدريب بالعدد الاسمي نفسه من العمليات أن تُنتجا نظامين مختلفين بسبب استغلال الرقائق، والدقة العددية، وجودة البيانات، والبنية، والتحسين، والبرمجيات. ويمكن للتحسينات الخوارزمية أن تستخلص أداءً أفضل من العتاد نفسه. ويمكن للضبط الدقيق، والاسترجاع، والأدوات، والذاكرة، وهياكل الوكلاء أن تغيّر السلوك المنشور تغييرًا جوهريًا بعد التدريب المسبق.
تهم البيانات كمًّا وتركيبًا على حد سواء. فالأمثلة المكرَّرة، أو منخفضة الجودة، أو الملوَّثة ليست معادلة لمعلومات مُنتقاة بعناية. ويمكن للبيانات الاصطناعية أن توسّع مجموعة البيانات أو تستهدفها، لكن الأخطاء قد تتضخم إذا كان التوليد والتصفية رديئين. كما تؤثر حقوق البيانات، والخصوصية، وتغطية اللغات، والتمثيل فيما يتعلمه النموذج.
تضيف الحوسبة وقت الاستدلال بُعدًا آخر. تُنفق بعض الأنظمة عمليات أكثر في توليد مرشحين وسيطين والتحقق منهما لتوجيه صعب. ويمكن لهذا أن يُحسّن الأداء دون تغيير النموذج المُدرَّب مسبقًا، لكنه يرفع التكلفة والكمون ولا يضمن الصحة. وأي نقاش شامل عن التوسع يحتاج اليوم إلى الأخذ في الحسبان على الأقل حوسبة التدريب، وحوسبة الاستدلال، والبيانات، والخوارزميات، والنظام المحيط.
منحنيات الخسارة ليست منحنيات القدرة
تقيس خسارة التدريب الخطأ التنبؤي بمعدله عبر مجموعات بيانات ضخمة. يمكن لانخفاض سلس في الخسارة أن يرافقه تغيّر متفاوت في مهام موجّهة للبشر. وقد يُظهر أحد المعايير المرجعية عتبةً لأن تحسنًا كامنًا يعبر أخيرًا علامة النجاح، أو لأن النموذج يتعلّم عدة مهارات فرعية مطلوبة، أو لأن التقييم يحوّل تقدمًا تدريجيًا إلى نتيجة ثنائية. وقد تتحسن قدرات أخرى بسلاسة، أو تبقى ثابتة، أو تتراجع بعد ضبط السلامة أو تغييرات النظام.
يمنع هذا التمييز خطأين متعاكسين. الأول افتراض أن منحنى خسارة يمكن التنبؤ به يجعل كل سلوك مستقبلي قابلًا للتنبؤ. وهذا غير صحيح. والثاني الادعاء بأن كل مكاسب القدرة انقطاعات غامضة. فكثير من مكاسب المعايير المرجعية التي تبدو مفاجئة تصبح أكثر سلاسة عندما يستخدم الباحثون مقاييس مستمرة أو اختبارات أكثر إفادة (Schaeffer وMiranda وKoyejo، 2023). يمكن أن يصح كل من عدم اليقين والقدرة التنبؤية الجزئية معًا.
يتفاعل التوسع أيضًا مع تصميم التقييم. فالاختبارات العامة قد تتشبّع أو تتسرّب إلى بيانات التدريب. وقد يتحسن نموذج ما في اجتياز الاختبارات دون مكسب معادل في الموثوقية في العالم الحقيقي. وعلى العكس، قد تُفوّت المعايير المرجعية القائمة قدرات مفيدة. وتلزم تقييمات متعددة، ومهام خاصة، ومراجعة خبراء بشريين، وأدلة من النشر الفعلي لتفسير ما اشترته الخسارة المنخفضة.
أين يمكن للاتجاه أن ينحني
القدرة المادية ليست بلا حدود. يعتمد التدريب والخدمة على الطليعة على رقائق متقدمة، وذاكرة عالية عرض النطاق، وشبكات، وكهرباء، وتبريد، وأراضٍ، وبناء، وسلاسل توريد. وتتوقع الوكالة الدولية للطاقة ارتفاعًا كبيرًا في الطلب على كهرباء مراكز البيانات حتى عام 2030، مع تأكيدها على عدم اليقين والتركّز الجغرافي الشديد (الوكالة الدولية للطاقة، Energy and AI). ويمكن لتأخيرات الشبكة الكهربائية المحلية أن تكون مؤثرة حتى عندما تكون الطاقة العالمية كافية.
كما أن البيانات البشرية عالية الجودة محدودة أيضًا، وإن كان أثر هذا القيد يعتمد على مصادر بيانات جديدة، والتدريب متعدد الوسائط، والبيانات الاصطناعية، واستخدام أكثر كفاءة للمجموعات القائمة. وقد تصل الحدود الاقتصادية قبل الحدود التقنية: إذ يجب على النموذج الأكبر أن يخلق قيمة كافية لتبرير تكاليف التدريب، والخدمة، والفرصة البديلة. ويمكن للكمون وعرض نطاق الذاكرة أن يقيّدا المنتجات حتى عندما تكون العمليات الإجمالية متوفرة.
العوائد المتناقصة متأصلة في التوسع. فقانون القوة قد يستمر بينما يتطلب كل تحسين إضافي إنفاقًا أكبر بكثير. لا يعني ذلك توقف التقدم، لكنه يغيّر الاقتصاديات. ويمكن لبنية أو خوارزمية جديدة أن تُحرّك المنحنى، بينما قد تتطلب السلامة أو الموثوقية أو التجسيد تقدمًا لا تلتقطه خسارة التنبؤ بالرمز التالي. ولا يستطيع أحد أن يحدد، من قوانين التوسع الحالية وحدها، أين ستحدث تلك الاختراقات.
لماذا تظل الحوسبة رافعة حوكمة
رغم هذه التحفظات، تتسم الحوسبة المتقدمة بأنها مادية ومتركّزة على نحو غير معتاد. تُصنَّع الرقائق المتطورة عبر سلسلة توريد عالمية ضيقة، وتتطلب أكبر مجموعات التدريب رأس مال، وطاقة، وشبكات ظاهرة. لذا تستخدم الحكومات ضوابط تصدير الرقائق، ومتطلبات الإبلاغ، وقواعد مراكز البيانات كمؤشرات بديلة لقدرة الطليعة. وقد تكون الحوسبة أسهل في المراقبة من الخوارزميات أو البرمجيات المنسوخة.
هذا المؤشر البديل غير مثالي. فقد تصبح العتبات متقادمة مع ازدياد كفاءة الخوارزميات. ويعقّد التدريب والاستدلال الموزعان عملية الحصر. وقد تُثقل قاعدة حوسبة كاهل البحث المشروع، أو ترسّخ الجهات الكبرى القائمة، أو تشجّع على التحايل إن صيغت بشكل سيئ. كما تُفوّت حوسبة التدريب أنظمة قادرة تُجمَّع عبر الضبط الدقيق، أو استخدام الأدوات، أو استدعاءات استدلال كثيرة. وينبغي لسياسة فعّالة أن تحدّث العتبات، وتراعي الكفاءة، وتحمي الخصوصية، وتُركّز الالتزامات على المخاطر بدلًا من معاملة العمليات كضرر بحد ذاتها.
تكون حوكمة الحوسبة أقوى عندما تُقرن بتقييم القدرات. إذ يمكن للحوسبة أن تحدد العمليات الجديرة بالتدقيق؛ ويمكن للتقييمات أن تختبر ما إذا كان النظام الناتج يتجاوز عتبة قدرة خطرة؛ ويمكن لمراقبة النشر أن تكشف سوء الاستخدام والإخفاقات. ولا ينبغي لمقياس واحد أن يتحمل عبء التنظيم بأكمله.
التوسع لا يحسم الجدول الزمني للذكاء العام الاصطناعي
الاستثمار السريع دليل على أن المطورين يتوقعون عوائد من أنظمة أكبر وأكثر كفاءة. والتوسع التاريخي دليل على أن الموارد الإضافية كثيرًا ما حسّنت الأداء المقيس. لا يثبت أي منهما تاريخًا للذكاء العام الاصطناعي. ويجب أن تنمذج التنبؤات العتاد، والطاقة، والبيانات، والخوارزميات، والاستدلال، والموثوقية، وتعريف الذكاء العام الاصطناعي نفسه.
تتطلب الادعاءات بأن “التوسع قد توقف” تحديد أي مقياس وأي نظام. وتتطلب الادعاءات بأن “التوسع هو كل ما نحتاجه” إظهار أن الفجوات المتبقية قابلة للاختزال إلى الاتجاه نفسه. وبين هذين الشعارين يقع الموقف القابل للدفاع عنه: قوانين التوسع من بين أكثر الانتظامات التجريبية فائدة في الذكاء الاصطناعي الحديث، لكنها تتنبأ بالمتوسطات ضمن الأنظمة أفضل مما تتنبأ بالعواقب الاجتماعية النوعية.
ما ينبغي للقراء سؤاله
عندما يُعزى نموذج جديد إلى التوسع، اسأل أي مورد ازداد، وبكم، ومقابل أي خط أساس. هل كانت المقارنة مُحسَّنة من حيث الحوسبة؟ هل تغيّرت البيانات أو الخوارزميات؟ هل المكسب المُبلَّغ عنه في خسارة التدريب، أم في معيار مرجعي، أم في عمل الخبراء، أم في نتيجة منشورة فعليًا؟ كيف بدت الموثوقية والتكلفة؟ هل النتائج قابلة للتكرار بشكل مستقل؟
تحافظ هذه الأسئلة على الدرس الحقيقي لقوانين التوسع دون تحويله إلى أسطورة. فقد مكّنت الحوسبة الأكبر مرارًا من إنتاج نماذج أفضل. وهي مُدخل صناعي رئيسي ونقطة إشراف عملية. لكنها ليست وحدة عالمية للذكاء، ولا ضمانًا لسلوك آمن، ولا عدًّا تنازليًا نحو الذكاء العام الاصطناعي.