کمپیوٹ اور اسکیلنگ کے قوانین، وضاحت کے ساتھ

اسکیلنگ کا قانون ایک تجرباتی تعلق ہے

مشین لرننگ میں، اسکیلنگ کا قانون یہ بیان کرتا ہے کہ کوئی ناپی گئی مقدار کسی ان پٹ کے بڑھنے کے ساتھ کیسے بدلتی ہے۔ بڑے زبان ماڈلز کے لیے، محققین نے پایا کہ تربیتی نقصان اکثر ماڈل کے حجم، تربیتی ڈیٹا، اور کمپیوٹیشن کے بڑھنے کے ساتھ نسبتاً ہموار، پیش گوئی کے قابل انداز میں بہتر ہوتا ہے۔ OpenAI کے 2020 کے کام نے آزمائے گئے دائروں میں پاور-لا تعلقات کی رپورٹ دی (Kaplan et al.)۔ DeepMind کی بعد کی «Chinchilla» تحقیق نے دکھایا کہ، ایک مقررہ کمپیوٹ بجٹ کے تحت، بہت سے ماڈلز کو بہت کم ڈیٹا پر تربیت دی گئی تھی اور یہ کہ پیرامیٹرز اور تربیتی ٹوکنز کو زیادہ یکساں طور پر ایک ساتھ بڑھایا جانا چاہیے (Hoffmann et al.)۔

یہ نتائج اہم تھے کیونکہ انہوں نے مہنگے تربیتی رنز کو زیادہ پیش گوئی کے قابل بنایا۔ کوئی لیبارٹری چھوٹے تجربات چلا سکتی تھی، یہ اندازہ لگا سکتی تھی کہ بڑے پیمانے پر نقصان کیسے بدلے گا، اور ڈیٹا، پیرامیٹرز، اور کمپیوٹ کے درمیان بجٹ مختص کر سکتی تھی۔ لیکن یہ قانون ایک مشاہدہ شدہ نظام کے اندر پیمائشوں کو بیان کرتا ہے۔ یہ کوئی جسمانی ضمانت نہیں کہ ہر صلاحیت لامحدود طور پر بہتر ہوتی رہے گی یا یہ کہ کافی گرافکس پروسیسرز خود بخود AGI پیدا کر دیں گے۔

کمپیوٹ صرف ایک جزو ہے

«کمپیوٹ» عام طور پر تربیت یا استدلال میں استعمال ہونے والے عددی عملیات کی تعداد کا مطلب رکھتا ہے، لیکن یہ مختصر اصطلاح بھی اہم فرق چھپاتی ہے۔ ایک ہی برائے نام عملیات کے ساتھ دو تربیتی رنز مختلف نظام پیدا کر سکتے ہیں کیونکہ چپ کے استعمال، عددی درستگی، ڈیٹا کے معیار، آرکیٹیکچر، بہتری، اور سافٹ ویئر میں فرق ہوتا ہے۔ الگورتھمی بہتریاں اسی ہارڈویئر سے بہتر کارکردگی حاصل کر سکتی ہیں۔ فائن ٹیوننگ، ریٹریول، آلات، میموری، اور ایجنٹ اسکیفولڈنگ پری ٹریننگ کے بعد تعینات شدہ رویے کو خاطر خواہ حد تک بدل سکتے ہیں۔

ڈیٹا مقدار اور ترکیب دونوں میں اہمیت رکھتا ہے۔ نقل شدہ، کم معیار کے، یا آلودہ نمونے احتیاط سے منتخب کردہ معلومات کے برابر نہیں ہیں۔ مصنوعی ڈیٹا کسی مجموعے کو بڑھا یا ہدف بنا سکتا ہے، لیکن اگر تخلیق اور فلٹرنگ ناقص ہو تو غلطیاں بڑھ سکتی ہیں۔ ڈیٹا کے حقوق، پرائیویسی، زبان کا احاطہ، اور نمائندگی بھی یہ متاثر کرتی ہیں کہ ماڈل کیا سیکھتا ہے۔

استدلال کے وقت کی کمپیوٹیشن ایک اور جہت شامل کرتی ہے۔ کچھ نظام کسی مشکل پرامپٹ کے لیے درمیانی امیدواروں کو تخلیق اور جانچنے میں زیادہ عملیات صرف کرتے ہیں۔ یہ پری ٹرینڈ ماڈل کو تبدیل کیے بغیر کارکردگی بہتر بنا سکتا ہے، لیکن یہ لاگت اور تاخیر بڑھاتا ہے اور درستگی کی ضمانت نہیں دیتا۔ ایک مکمل اسکیلنگ بحث کو اب کم از کم تربیتی کمپیوٹ، استدلالی کمپیوٹ، ڈیٹا، الگورتھم، اور ارد گرد کے نظام کی ضرورت ہے۔

نقصان کے وکر صلاحیت کے وکر نہیں

تربیتی نقصان بہت بڑے ڈیٹا سیٹس پر اوسط پیش گوئی کی غلطی ناپتا ہے۔ نقصان میں ایک ہموار کمی انسان کے سامنے آنے والے کاموں میں ناہموار تبدیلیوں کے ساتھ ہو سکتی ہے۔ ایک بینچ مارک ایک حد دکھا سکتا ہے کیونکہ کوئی پوشیدہ بہتری آخرکار اپنے پاس مارک سے آگے نکل جاتی ہے، کیونکہ ماڈل کئی مطلوبہ ذیلی مہارتیں سیکھ لیتا ہے، یا کیونکہ اسکورنگ بتدریج ترقی کو ایک بائنری نتیجے میں بدل دیتی ہے۔ دیگر صلاحیتیں ہموار طریقے سے بہتر ہو سکتی ہیں، برابر رہ سکتی ہیں، یا حفاظتی ٹیوننگ یا نظام کی تبدیلیوں کے بعد پیچھے جا سکتی ہیں۔

یہ فرق دو مخالف غلطیوں کو روکتا ہے۔ پہلی یہ فرض کرنا ہے کہ ایک پیش گوئی کے قابل نقصان کا وکر ہر مستقبل کے رویے کو پیش گوئی کے قابل بنا دیتا ہے۔ ایسا نہیں ہے۔ دوسری یہ دعویٰ کرنا ہے کہ تمام صلاحیتی فوائد پراسرار انقطاعات ہیں۔ بہت سی بظاہر اچانک بینچ مارک فوائد ہموار ہو جاتی ہیں جب محققین مسلسل پیمانے یا زیادہ معلوماتی ٹیسٹ استعمال کرتے ہیں (Schaeffer، Miranda اور Koyejo، 2023)۔ غیریقینی اور جزوی پیش گوئی دونوں سچ ہو سکتے ہیں۔

اسکیلنگ تشخیصی ڈیزائن کے ساتھ بھی تعامل کرتی ہے۔ عوامی ٹیسٹ سیر ہو سکتے ہیں یا تربیتی ڈیٹا میں لیک ہو سکتے ہیں۔ کوئی ماڈل حقیقی دنیا کی اعتماديت میں مساوی فائدے کے بغیر ٹیسٹ دینے میں بہتر ہو سکتا ہے۔ اس کے برعکس، موجودہ بینچ مارک مفید صلاحیتوں کو چھوڑ سکتے ہیں۔ متعدد تشخیصات، نجی کام، انسانی ماہرین کا جائزہ، اور تعیناتی کے شواہد کی ضرورت ہے تاکہ یہ سمجھا جا سکے کہ نقصان کی کمی نے کیا خریدا۔

رجحان کہاں مڑ سکتا ہے

جسمانی صلاحیت لامحدود نہیں۔ فرنٹیئر تربیت اور خدمت جدید ترین چپس، اعلیٰ بینڈوتھ میموری، نیٹ ورکنگ، بجلی، کولنگ، زمین، تعمیر، اور سپلائی چینز پر منحصر ہیں۔ انٹرنیشنل انرجی ایجنسی توقع رکھتی ہے کہ ڈیٹا سینٹر کی بجلی کی طلب 2030 تک خاطر خواہ حد تک بڑھے گی، جبکہ غیریقینی اور مضبوط جغرافیائی ارتکاز پر زور دیتی ہے (IEA، Energy and AI)۔ مقامی گرڈ تاخیریں اہم ہو سکتی ہیں چاہے عالمی توانائی کافی ہو۔

اعلیٰ معیار کا انسانی تخلیق کردہ ڈیٹا بھی محدود ہے، اگرچہ اس رکاوٹ کا اثر نئے ڈیٹا ذرائع، ملٹی موڈل تربیت، مصنوعی ڈیٹا، اور موجودہ مجموعوں کے زیادہ مؤثر استعمال پر منحصر ہے۔ اقتصادی حدود تکنیکی حدود سے پہلے آ سکتی ہیں: ایک بڑے ماڈل کو تربیت، خدمت، اور موقعے کی قیمت کا جواز پیش کرنے کے لیے کافی قدر تخلیق کرنی ہوتی ہے۔ تاخیر اور میموری بینڈوتھ مصنوعات کو محدود کر سکتے ہیں چاہے مجموعی عملیات دستیاب ہوں۔

کم ہوتے فوائد اسکیلنگ میں بنیادی طور پر شامل ہیں۔ ایک پاور-لا جاری رہ سکتا ہے جبکہ ہر اضافی بہتری کے لیے کہیں زیادہ خرچ درکار ہو۔ اس کا مطلب یہ نہیں کہ ترقی رک جاتی ہے، لیکن یہ معاشیات کو بدل دیتا ہے۔ ایک نیا آرکیٹیکچر یا الگورتھم وکر کو حرکت دے سکتا ہے، جبکہ حفاظت، اعتماديت، یا جسمانی مجسمیت ایسی پیش رفت کا تقاضا کر سکتی ہیں جو اگلے-ٹوکن کی پیش گوئی کے نقصان سے حاصل نہ ہو۔ کوئی بھی موجودہ اسکیلنگ کے قوانین سے اکیلے یہ طے نہیں کر سکتا کہ وہ پیش رفت کہاں ہو گی۔

کمپیوٹ نگرانی کا آلہ کیوں رہتا ہے

ان احتیاطوں کے باوجود، جدید ترین کمپیوٹ غیر معمولی طور پر جسمانی اور مرتکز ہے۔ جدید ترین چپس ایک تنگ عالمی سپلائی چین کے ذریعے تیار کی جاتی ہیں، اور سب سے بڑے تربیتی کلسٹرز کو نمایاں سرمایہ، بجلی، اور نیٹ ورکنگ درکار ہوتی ہے۔ اس لیے حکومتیں چپ برآمدی کنٹرول، رپورٹنگ کی شرائط، اور ڈیٹا سینٹر کے قواعد کو فرنٹیئر صلاحیت کے متبادل نشان کے طور پر استعمال کرتی ہیں۔ کمپیوٹ کو الگورتھم یا نقل شدہ سافٹ ویئر سے زیادہ آسانی سے مانیٹر کیا جا سکتا ہے۔

یہ متبادل نشان نامکمل ہے۔ حدیں پرانی ہو سکتی ہیں جیسے جیسے الگورتھم زیادہ مؤثر ہوتے جائیں۔ منتشر تربیت اور استدلال حساب کتاب کو پیچیدہ بناتے ہیں۔ اگر بری طرح لکھا جائے تو کمپیوٹ کا کوئی قانون جائز تحقیق پر بوجھ ڈال سکتا ہے، بڑے قائم شدہ اداروں کو مستحکم کر سکتا ہے، یا اجتناب کی ترغیب دے سکتا ہے۔ تربیتی کمپیوٹ ان قابل نظاموں کو بھی چھوڑ دیتا ہے جو فائن ٹیوننگ، آلے کے استعمال، یا بہت سی استدلالی کالز کے ذریعے جمع کیے جاتے ہیں۔ مؤثر پالیسی کو حدیں اپ ڈیٹ کرنی چاہئیں، کارکردگی کا حساب رکھنا چاہیے، پرائیویسی کی حفاظت کرنی چاہیے، اور عملیات کو نقصان سمجھنے کے بجائے ذمہ داریوں کو خطرے پر مرکوز رکھنا چاہیے۔

کمپیوٹ کی نگرانی سب سے مضبوط ہوتی ہے جب اسے صلاحیت کی تشخیص کے ساتھ جوڑا جائے۔ کمپیوٹ ان رنز کی نشاندہی کر سکتا ہے جو جانچ کے لائق ہیں؛ تشخیصات یہ ٹیسٹ کر سکتی ہیں کہ آیا نتیجتاً نظام کوئی خطرناک-صلاحیت کی حد عبور کرتا ہے؛ تعیناتی کی نگرانی بدسلوکی اور ناکامیوں کو ظاہر کر سکتی ہے۔ کسی ایک پیمانے کو پورا ریگولیٹری بوجھ نہیں اٹھانا چاہیے۔

اسکیلنگ AGI کے ٹائم لائنز طے نہیں کرتی

تیز سرمایہ کاری اس بات کا ثبوت ہے کہ ڈویلپرز بڑے اور زیادہ مؤثر نظاموں سے منافع کی توقع رکھتے ہیں۔ تاریخی اسکیلنگ اس بات کا ثبوت ہے کہ اضافی وسائل نے اکثر ناپی گئی کارکردگی کو بہتر بنایا ہے۔ کوئی بھی AGI کے لیے کوئی تاریخ ثابت نہیں کرتا۔ پیش گوئیوں کو ہارڈویئر، توانائی، ڈیٹا، الگورتھم، استدلال، اعتماديت، اور خود AGI کی تعریف کا نمونہ بنانا ہو گا۔

یہ دعوے کہ «اسکیلنگ رک گئی ہے» یہ واضح کرنے کی ضرورت ہے کہ کون سا پیمانہ اور کون سا نظام۔ یہ دعوے کہ «اسکیلنگ ہی سب کچھ ہے» یہ دکھانے کی ضرورت ہے کہ باقی رہ جانے والے خلا اسی رجحان تک محدود کیے جا سکتے ہیں۔ ان دونوں نعروں کے درمیان قابلِ دفاع موقف یہ ہے: اسکیلنگ کے قوانین جدید AI میں سب سے مفید تجرباتی اصولوں میں سے ہیں، لیکن وہ کسی نظام کے اندر اوسطوں کی پیش گوئی معیاری سماجی نتائج کی پیش گوئی سے کہیں بہتر طریقے سے کرتے ہیں۔

قارئین کو کیا پوچھنا چاہیے

جب کسی نئے ماڈل کو اسکیل سے منسوب کیا جائے، تو پوچھیں کہ کون سا وسیلہ بڑھا، کتنا، اور کس بنیاد کے مقابلے میں۔ کیا موازنہ کمپیوٹ-بہترین تھا؟ کیا ڈیٹا یا الگورتھم بدلا؟ کیا رپورٹ کردہ فائدہ تربیتی نقصان، کسی بینچ مارک، ماہرانہ کام، یا تعینات شدہ نتیجے پر ہے؟ اعتماديت اور لاگت کیسی نظر آئی؟ کیا نتائج آزادانہ طور پر دہرائے جا سکنے کے قابل ہیں؟

یہ سوالات اسکیلنگ کے قوانین کے حقیقی سبق کو محفوظ رکھتے ہیں بغیر اسے افسانہ بنائے۔ زیادہ کمپیوٹ نے بار بار بہتر ماڈلز کو ممکن بنایا ہے۔ یہ ایک بڑا صنعتی ان پٹ اور نگرانی کا ایک عملی نقطہ ہے۔ یہ ذہانت کی کوئی عالمگیر اکائی، محفوظ رویے کی کوئی ضمانت، یا AGI کی طرف کوئی کاؤنٹ ڈاؤن نہیں۔