Situation report active Rev. 2026.10 119 reports 239 source records updated
Real Life After AGI انسانی بقا کی بریفنگ
UR

کثیر قطبی اور کثیر ایجنٹ تباہ کن حرکیات

ریاستوں، کمپنیوں، اور خودمختار AI ایجنٹس کے درمیان مقابلہ تباہ کن نتائج کیسے پیدا کر سکتا ہے یہاں تک کہ جب ہر شریک تباہی سے بچنے کو ترجیح دے۔

Written by
Dwight Ringdahl
Status
ماخذ کی جانچ شدہ
Revised
Sources
1 cited
Reading
8 min

تباہی کو ایک غالب نظام کی ضرورت نہیں

بہت سی AI-خطرے کی کہانیاں ایک واحد نظام کے کنٹرول سے فرار پر توجہ مرکوز کرتی ہیں۔ ایک کثیر قطبی منظرنامہ اس کے بجائے کئی طاقتور ڈیولپرز، ریاستوں، تنظیموں، یا AI نظاموں پر مشتمل ہے جن کے فیصلے تعامل کرتے ہیں۔ ہر کردار اصولی طور پر حفاظت کو ترجیح دے سکتا ہے پھر بھی خطرات مول لے سکتا ہے کیونکہ اسے خوف ہے کہ ایک حریف پہلے حرکت کرے گا۔ نقصان مقابلے، غلط فہمی، اور تاثرات سے ابھر سکتا ہے نہ کہ ایک ولن کے منصوبے سے۔

یہ نظریاتی طریقہ کاروں کا ایک خاندان ہے، مستقبل کے AGI کی ایک مشاہدہ شدہ تفصیل نہیں۔ چپس، ماڈلز، فوجی ٹیکنالوجی، اور منڈیوں میں موجودہ مقابلہ اس بات کا ثبوت فراہم کرتا ہے کہ ترغیبات اہم ہیں؛ یہ تباہی کی طرف ایک ناگزیر دوڑ ثابت نہیں کرتا۔ فریم ورک کی قدر یہ ہے کہ ہم آہنگی کے مسائل کو انہیں بدلنے کے لیے کافی جلد شناخت کرے۔

نیچے کی طرف دوڑ کا طریقہ کار

فرض کریں دو ڈیولپرز یقین رکھتے ہیں کہ اضافی ٹیسٹنگ خطرہ کم کرے گی لیکن ریلیز میں تاخیر کرے گی۔ ہر ایک کو تشویش ہے کہ دوسرا لانچ کرے گا اور صارفین، سرمایہ کاری، ڈیٹا، یا اسٹریٹیجک اثر حاصل کر لے گا۔ دونوں اس سے پہلے ریلیز کرتے ہیں جتنا کہ ہر ایک ایک قابلِ اعتماد معاہدے کے تحت منتخب کرے گا۔ انفرادی طور پر عقلی عمل مشترکہ طور پر بدتر نتیجہ پیدا کرتا ہے۔

ریاستوں کو ایک اسی طرح کی سیکیورٹی مخمصے کا سامنا ہے۔ ایک ملک کی دفاعی سرمایہ کاری دوسرے کو جارحانہ نظر آ سکتی ہے۔ صلاحیتوں اور تحفظات کے اردگرد رازداری تسلی کو مشکل بناتی ہے۔ رہنما تیز ہو سکتے ہیں کیونکہ وہ یقین رکھتے ہیں کہ ایک حریف قریب ہے، یہاں تک کہ جب یہ یقین منتخب عوامی مظاہروں یا بڑی غیر یقینی صورتحال والی انٹیلی جنس پر مبنی ہو۔

مقابلہ ہمیشہ حفاظت کو کم نہیں کرتا۔ ساکھ، ذمہ داری، صارف کی طلب، اور مشترکہ معیارات اعتماديت کو انعام دے سکتے ہیں۔ متعدد ڈیولپرز ایک دوسرے کی کمزوریاں بے نقاب کر سکتے ہیں اور اجارہ داری کو روک سکتے ہیں۔ تجرباتی سوال یہ ہے کہ کون سی ترغیبات ایک مخصوص منڈی میں غالب ہیں اور کون سے ادارے ادائیگی کو بدلتے ہیں۔

AI ایجنٹس کے درمیان تعامل نئے ناکامی کے طریقے شامل کرتا ہے

کثیر-ایجنٹ نظام کام تقسیم کر سکتے ہیں، متبادلات پر بحث کر سکتے ہیں، پیداوار کی تصدیق کر سکتے ہیں، اور پیچیدہ ماحول کو ماڈل کر سکتے ہیں۔ وہ غلطیاں بھی پھیلا سکتے ہیں۔ ایک ایجنٹ دوسرے ایجنٹ کی پراعتماد پیداوار کو ثبوت کے طور پر سمجھ سکتا ہے، ایک سلسلہ پیدا کرتے ہوئے۔ خودکار مذاکرات کار ایسی حکمتِ عملیاں دریافت کر سکتے ہیں جنہیں انسانوں نے نہ اجازت دی اور نہ سمجھا۔ مشین-رفتار پر عمل کرنے والے ایجنٹ نگرانوں کے جائزہ لینے سے زیادہ کثرت سے تعامل کر سکتے ہیں۔

یہ اثرات پہلے سے ہی محدود نقالوں اور تعینات ورک فلو نظاموں میں مطالعہ کیے جاتے ہیں، لیکن تہذیبی-پیمانے کے نتائج قیاسی رہتے ہیں۔ سادہ ایجنٹس پر مشتمل ایک لیبارٹری نتیجے کو اس ثبوت کے طور پر رپورٹ نہیں کیا جانا چاہیے کہ مستقبل کی معیشتیں ساز باز کریں گی یا لڑیں گی۔ محققین کو زیادہ بھرپور ماحول، متفاوت اہداف، مواصلاتی ناکامیاں، مخالفانہ شرکاء، اور انسانی مداخلت کی جانچ کرنی چاہیے۔

ایک اور تشویش باہم متعلقہ ناکامی ہے۔ ایک ہی بنیادی ماڈل، ڈیٹا، یا کلاؤڈ فراہم کنندہ سے بنائے گئے نظام ایک جیسی غلطیاں کر سکتے ہیں۔ جو ایک متنوع ماحولیاتی نظام نظر آتا ہے اس میں ایک مشترکہ کمزوری ہو سکتی ہے۔ اس کے برعکس، حقیقی تنوع ایک واحد ناکامی کو پھیلنے سے روک سکتا ہے لیکن ہم آہنگی اور تصدیق کو مشکل بنا سکتا ہے۔

حادثات، تصادم، اور ساز باز مختلف ہیں

حادثاتی تعامل تب پیدا ہو سکتا ہے جب ایجنٹ عام اہداف کا تعاقب کرتے ہیں لیکن مداخلت کرتے ہیں۔ ٹریڈنگ نظام قیمت کی حرکت کو بڑھا سکتے ہیں؛ لاجسٹکس ایجنٹ اسی کمیاب وسائل کے لیے مقابلہ کر سکتے ہیں؛ سائبر-دفاع ایجنٹ ایک دوسرے کے اعمال کی غلط درجہ بندی کر سکتے ہیں۔ تاثرات بڑھ سکتے ہیں یہاں تک کہ جب کوئی نظام حریف کی نمائندگی نہ کرے۔

مخالفانہ تعامل تب ہوتا ہے جب کردار جان بوجھ کر فائدہ تلاش کرتے ہیں۔ AI نگرانی، اثر، ہتھیاروں کی ہدف بندی، یا اسٹریٹیجک منصوبہ بندی کو تیز کر سکتا ہے۔ مختصر فیصلے کی کھڑکیاں تصحیح کے لیے وقت کم کر سکتی ہیں۔ خودمختار-ہتھیار کا خطرہ صرف ایک ناقص ماڈل نہیں بلکہ کئی فوجوں کا ایک دوسرے پر ردعمل دینے کا ملا ہوا طرزِ عمل ہے۔

ساز باز کرنے والا تعامل تب ہوتا ہے جب حریف انسانی مفادات کے خلاف مربوط ہوتے ہیں—مثال کے طور پر، قیمت کے نظام ایسی حکمتِ عملیاں سیکھتے ہیں جو مقابلے کو نرم کرتی ہیں۔ الگورتھمک قیمت سازی نے پہلے ہی مقابلے-پالیسی کے خدشات اٹھائے ہیں، لیکن خاموش خودمختار ساز باز کے بارے میں ثبوت بہت زیادہ منڈی اور ڈیزائن پر منحصر ہے۔ مستقبل-ایجنٹ ساز باز قابلِ فہم ہے، ضمانت شدہ نہیں۔

ان تینوں کے لیے ایک ہی لیبل استعمال کرنا مختلف تدارک کو دھندلا دیتا ہے۔ حادثات مضبوطی اور سرکٹ بریکرز کا تقاضا کرتے ہیں؛ تصادم مواصلات، تصدیق، اور اسلحہ-کنٹرول آلات کا تقاضا کرتا ہے؛ ساز باز نگرانی اور مقابلہ-نفاذ کا تقاضا کرتی ہے۔

معلومات دوڑ کو محفوظ یا بدتر کیوں بنا سکتی ہیں

شفافیت اعتماد بنا سکتی ہے جب کردار تشخیصی طریقے، واقعات، اور خطرے کے کنٹرول ظاہر کرتے ہیں۔ مشترکہ صلاحیت کی حدیں یہ دکھا سکتی ہیں کہ حریفوں کو موازنہ کرنے والی ذمہ داریوں کا سامنا ہوگا۔ آزادانہ تصدیق خود-رپورٹ پر انحصار کم کرتی ہے۔

لیکن انکشاف خطرناک علم بھی پھیلا سکتا ہے، سیکیورٹی کی کمزوریاں ظاہر کر سکتا ہے، یا ایک صلاحیت کی تشہیر کرکے دوڑ کو تحریک دے سکتا ہے۔ ایک قابلِ اعتماد نظام کو درجہ بند رسائی کی ضرورت ہے: جوابدہی کے لیے عوامی خلاصے، ریگولیٹرز یا جانچنے والوں کے لیے خفیہ تکنیکی جائزہ، اور حقیقی معنوں میں خطرناک تفصیلات کے لیے تحفظ۔

پیش گوئی کی غیر یقینی صورتحال دباؤ شامل کرتی ہے۔ اگر کردار یقین رکھیں کہ صلاحیت تیزی سے چھلانگ لگا سکتی ہے، تو وہ احتیاط کو اسٹریٹیجک طور پر مہنگا سمجھ سکتے ہیں۔ پھر بھی وہی غیر یقینی صورتحال اس اعتماد کو کم کرنا چاہیے کہ ایک جلد بازی میں بنایا گیا نظام متوقع طور پر برتاؤ کرے گا۔ اداروں کو احتیاط کو یکطرفہ کے بجائے باہمی بنانے کے طریقے درکار ہیں۔

کثیر-ایجنٹ حرکیات اور بتدریج بااختیاریت کا خاتمہ

مقابلہ بتدریج بااختیاریت کا خاتمہ بھی پیدا کر سکتا ہے۔ کمپنیاں زیادہ فیصلے تفویض کرتی ہیں کیونکہ حریف ایسا کرتے ہیں۔ حکومتیں مشین-رفتار تجزیے پر انحصار کرتی ہیں کیونکہ دیگر حکومتیں ایسا کرتی ہیں۔ کوئی تنظیم نہیں چاہتی کہ انسان معنی خیز کنٹرول کھو دیں، لیکن ہر مقامی انتخاب واپسی کو مشکل بنا دیتا ہے۔

اس راستے کو ایجنٹس کے خفیہ طور پر تعاون کرنے کی ضرورت نہیں۔ منڈی کا انتخاب ایسے نظاموں کی حمایت کر سکتا ہے جو وسائل حاصل کرتے ہیں، صارفین برقرار رکھتے ہیں، اور تیزی سے کام کرتے ہیں، یہاں تک کہ اگر وہ خصوصیات غور و فکر کو کمزور کریں۔ نتیجہ ایک ماحولیاتی عمل سے مشابہت رکھتا ہے: حکمتِ عملیاں اس لیے پھیلتی ہیں کیونکہ وہ مؤثر طریقے سے مقابلہ کرتی ہیں، اس لیے نہیں کہ ایک واحد ذہانت نے پورے نتیجے کی منصوبہ بندی کی۔

یہ مشابہت ایک مشابہت ہی رہنی چاہیے۔ معاشی اور سیاسی ادارے غور و فکر، قانون، اجتماعی سودے بازی، اور دوبارہ ڈیزائن کرنے کے قابل ہیں۔ مسابقتی دباؤ انتخاب کو محدود کرتا ہے لیکن ایجنسی کو ختم نہیں کرتا۔

ایک کثیر دنیا کے لیے گورننس

مشترکہ تشخیص اور رپورٹنگ خطرہ چھپانے کے فائدے کو کم کرتی ہے۔ ڈیولپرز موازنہ کے قابل تعریفات استعمال کر سکتے ہیں، سنگین واقعات رپورٹ کر سکتے ہیں، اور اہل بیرونی جانچنے والوں کو رسائی فراہم کر سکتے ہیں۔ قواعد کو کمپنیوں میں یکساں طور پر لاگو ہونا چاہیے تاکہ ایک کمپنی کو ان احتیاطوں کے لیے سزا نہ دی جائے جن سے حریف بچتے ہیں۔

باہمی تعامل اور ارتکاز کی پالیسی یہ فرض کیے بغیر کہ تقسیم خودکار طور پر محفوظ ہے متبادلات کو محفوظ رکھ سکتی ہے۔ ارتکاز مستقل کنٹرول کو ممکن بنا سکتا ہے لیکن ناکامی کے واحد مقامات اور سیاسی طاقت پیدا کرتا ہے۔ ایک متنوع ماحولیاتی نظام لچک کو صرف اس وقت بہتر بناتا ہے جب نظام چھپے ہوئے انحصار کا اشتراک نہ کریں۔

بین الاقوامی مواصلات ایک جامع معاہدے کے بغیر بھی اہم ہیں۔ ریاستیں AI سے متعلقہ واقعات کے لیے ہاٹ لائنز بنا سکتی ہیں، دوسروں کو بڑی حفاظتی ناکامیوں کی اطلاع دے سکتی ہیں، فوجی نظریے کی وضاحت کر سکتی ہیں، اور جوہری استعمال کے بارے میں فیصلوں کو خودمختار کنٹرول سے محفوظ رکھ سکتی ہیں۔ تکنیکی تصدیقی تحقیق مستقبل کے معاہدوں کو زیادہ قابلِ اعتماد بنا سکتی ہے۔

سرکٹ بریکرز اور شرح کی حدیں جوڑے ہوئے نظاموں کو سست کر سکتی ہیں جب طرزِ عمل متوقع حدود سے باہر نکلے۔ مالیاتی منڈیاں پہلے سے ہی ٹریڈنگ ہالٹس استعمال کرتی ہیں؛ مشابہ طریقہ کار کمپیوٹ، بنیادی ڈھانچے، یا خودکار-ایجنٹ نیٹ ورکس میں مدد کر سکتے ہیں۔ بحالی کے موڈز کو جوابدہ انسانوں کے ذریعے جانچا اور کنٹرول کیا جانا چاہیے۔

ذمہ داری اور یقین دہانی مسابقتی ترغیبات کو بدل سکتی ہیں۔ اگر تنظیمیں پیش بینی کے قابل ناکامیوں کی زیادہ لاگت برداشت کرتی ہیں، تو رفتار مصنوعی طور پر کم پرکشش ہوتی ہے۔ معیارات کو صرف سب سے بڑی کمپنیوں کو مستحکم کرنے سے گریز کرنا چاہیے، جو پیچیدہ تعمیل زیادہ آسانی سے برداشت کر سکتی ہیں۔

اس موضوع کے لیے ثبوت کے نشانات

مضامین کو چار سطحوں کو واضح طور پر لیبل کرنا چاہیے:

  • آج کی AI صنعت میں دستاویزی مقابلہ اور تعیناتی کی ترغیبات؛
  • محدود کثیر-ایجنٹ تجربات یا موجودہ خودکار منڈیوں میں مشاہدہ شدہ طرزِ عمل؛
  • ماڈل شدہ راستے جو دکھاتے ہیں کہ تعامل خطرے کو کیسے بڑھا سکتا ہے؛
  • مستقبل کے انتہائی قابل نظاموں پر مشتمل قیاسی تباہ کن نتائج۔

ایک سطح سے دوسری پر جانے کے لیے مفروضوں کی ضرورت ہے۔ وہ مفروضے—صلاحیت، خودمختاری، اپنانا، ردعمل کی رفتار، ادارہ جاتی کمزوری—نظر آنے چاہئیں۔

عملی نتیجہ

کئی قابل نظاموں والی دنیا خودکار طور پر ایک غالب نظام والی دنیا سے زیادہ محفوظ نہیں ہے، اور یہ خودکار طور پر زیادہ خطرناک بھی نہیں ہے۔ کثرت چیکس، جدت، اور لچک پیدا کر سکتی ہے؛ یہ دوڑیں، باہم متعلقہ ناکامیاں، اضافہ، اور ذمہ داری میں خلا بھی پیدا کر سکتی ہے۔

مرکزی پالیسی کا کام حفاظت کو مقابلے کے ساتھ مطابقت پذیر بنانا ہے۔ مشترکہ فرش، آزادانہ ثبوت، واقعاتی مواصلات، سرکٹ بریکرز، اور قابلِ نفاذ جوابدہی احتیاط کی سزا کو کم کر سکتے ہیں۔ کثیر قطبی عدسہ ہمیں یاد دلاتا ہے کہ ہر ماڈل کو الگ سے کنٹرول کرنا کافی نہیں: بقا اداروں اور نظاموں کے ایک دوسرے پر ردعمل دینے کے قواعد پر منحصر ہو سکتی ہے۔

References

Summarized position

Andrew Critch formalizes assistance games in which one AI system must respond to multiple human principals with differing preferences.

Andrew Critch, Co-author; UC Berkeley Center for Human-Compatible AI
"Multi-Principal Assistance Games: Definition and Collegial Mechanisms" (arXiv), Primary source

Type to search the manual.

↑↓ navigate ↵ open esc close