Situation report active Rev. 2026.10 119 reports 239 source records updated
Real Life After AGI মানবজাতির বেঁচে থাকার ব্রিফিং
BN

স্কেলযোগ্য তত্ত্বাবধান: অধিকতর সক্ষম সিস্টেম তদারকি করা

মানব তত্ত্বাবধায়করা নিজেদের চেয়ে বেশি সক্ষম এআই সিস্টেম তদারকি করতে পারেন যেসব প্রযুক্তিগত পদ্ধতি নিয়ে গবেষকরা পরীক্ষা চালাচ্ছেন, এআই বিতর্কের মাধ্যমে পরীক্ষিত।

Written by
Dwight Ringdahl
Status
উৎস-যাচাইকৃত
Revised
Sources
2 cited
Reading
5 min

সমস্যাটি যাচাইকরণের, নিছক বুদ্ধিমত্তার নয়

মানুষ নিয়মিতভাবে এমন কাজ তদারকি করে যা তারা নিজে সাহায্য ছাড়া পুনরুৎপাদন করতে পারে না। একজন বিচারক বিশেষজ্ঞদের কথা শোনেন; একজন সম্পাদক উৎস যাচাই করেন; একটি সফটওয়্যার দল পরীক্ষা ব্যবহার করে; একজন নিয়ন্ত্রক রেকর্ডের নমুনা নেন। বিভাজন, প্রমাণ, প্রতিষ্ঠান, এবং প্রণোদনার মাধ্যমে তত্ত্বাবধান স্কেল করে। এআই যখন সিস্টেম বেশি কাজ তৈরি করে, দ্রুত চলে, একাধিক ক্ষেত্রে পরিচালিত হয়, বা পর্যালোচকরা যে প্রমাণ দেখেন তা গঠন করতে পারে, তখন একটি কঠিনতর সংস্করণ তৈরি করে।

বর্তমান গবেষণা দুর্বলতর মডেল ও সীমাবদ্ধ কাজকে উপমা হিসেবে ব্যবহার করে। কোনো পরীক্ষাই প্রকৃতপক্ষে অতিমানবীয়, কৌশলগতভাবে প্রতারণামূলক একটি সিস্টেমের নির্ভরযোগ্য তত্ত্বাবধান প্রদর্শন করেনি। “স্কেলযোগ্য তত্ত্বাবধান” একটি গবেষণা কর্মসূচির নাম, একটি সমাপ্ত নিরাপত্তা প্রক্রিয়া নয়।

যাচাইযোগ্য কাজ দিয়ে শুরু করা

কিছু কাজ তৈরি করতে ব্যয়বহুল কিন্তু পরীক্ষা করতে সস্তা। সফটওয়্যার পরীক্ষার বিরুদ্ধে চালানো যায়; একটি গাণিতিক প্রমাণ যান্ত্রিকভাবে যাচাই করা যায়; একটি ডেটাবেস রূপান্তর অপরিবর্তনীয়তা সন্তুষ্ট করতে পারে। এই কাজগুলো অত্যন্ত সক্ষম সহায়তার জন্য উন্মুক্ত-প্রান্তের নীতি পরামর্শের চেয়ে ভালো প্রার্থী, যেখানে সঠিকতা বিতর্কিত।

যাচাইকরণ শুধুমাত্র স্পেসিফিকেশনের মতোই ভালো। পরীক্ষা গুরুত্বপূর্ণ কেস বাদ দিতে পারে, আনুষ্ঠানিক বিবৃতি ভুল লক্ষ্য এনকোড করতে পারে, এবং একটি সিস্টেম পরীক্ষকের চারপাশের পরিবেশকে ম্যানিপুলেট করতে পারে। শক্তিশালী তত্ত্বাবধান আনুষ্ঠানিক পরীক্ষাকে প্রতিকূল পর্যালোচনা ও বাস্তব-জগতের পর্যবেক্ষণের সাথে একত্রিত করে।

বিভাজন ও পুনরাবৃত্ত সহায়তা

একটি জটিল কাজকে উপকাজে বিভক্ত করা যায় যা মানুষ মূল্যায়ন করতে পারে, যেখানে এআই প্রমাণ সংগঠিত করতে সাহায্য করে। পুনরাবৃত্ত পুরস্কার মডেলিং ও সম্পর্কিত পদ্ধতিগুলো মডেল ব্যবহার করে মানুষকে এমন কাজ বিচার করতে সাহায্য করে যা অন্যথায় মনোযোগ বা দক্ষতা ছাড়িয়ে যেত। আশা করা হয় স্থানীয়ভাবে যাচাইযোগ্য ধাপগুলো একটি নির্ভরযোগ্য সম্পূর্ণ তৈরি করবে।

বিভাজন ব্যর্থ হতে পারে যখন বৈশ্বিক পারস্পরিক ক্রিয়া গুরুত্বপূর্ণ হয়। একটি প্ররোচক পরিকল্পনায় পৃথকভাবে বিশ্বাসযোগ্য ধাপ থাকতে পারে যা একসাথে ক্ষতি তৈরি করে। তদারককারী মডেল বিচার করা সিস্টেমের মতোই একই অন্ধ বিন্দু ভাগ করে নিতে পারে। প্রক্রিয়াটি আক্রমণ পৃষ্ঠতলও বাড়ায় কারণ সারাংশ অসুবিধাজনক প্রমাণ বাদ দিতে পারে।

ভালো প্রোটোকল মূল নিদর্শনের সাথে সংযোগ সংরক্ষণ করে, নিম্ন-স্তরের কাজ এলোমেলোভাবে পরিদর্শন করে, এবং ক্রস-কাটিং ঝুঁকির জন্য স্বাধীন পর্যালোচক নিয়োগ করে।

বিতর্ক ও প্রতিকূল সমালোচনা

এআই বিতর্কে, সিস্টেমগুলো একজন বিচারকের কাছে প্রতিযোগী যুক্তি উপস্থাপন করে। একজন সমালোচক এমন একটি ত্রুটি প্রকাশ করতে পারে যা একজন মানুষ স্বাধীনভাবে খুঁজে পেত না। পরীক্ষাগুলো দুর্বলতর বিচারকসহ বিতর্ক, পরামর্শ, এবং সরাসরি উত্তর দেওয়ার তুলনা করে। ফলাফলগুলো আলোকপাত করতে পারে কখন প্রতিকূল সহায়তা সাহায্য করে, কিন্তু কাজ, বিচারক, তথ্য কাঠামো, এবং আপেক্ষিক মডেল শক্তির ওপর নির্ভর করে।

বিতর্ক সত্যের বদলে বাগ্মিতাকে পুরস্কৃত করতে পারে। দুটি সিস্টেম একটি মিথ্যা প্রাঙ্গণ ভাগ করে নিতে পারে, যোগসাজশ করতে পারে, বিচারককে অভিভূত করতে পারে, বা নির্বাচনীভাবে প্রমাণ প্রকাশ করতে পারে। আরও রাউন্ড তথ্য বাড়াতে পারে বা কেবল প্ররোচনা বাড়াতে পারে। স্থাপনার জন্য পরিচিত উত্তরের বিরুদ্ধে ক্যালিব্রেশন এবং বিচারকরা সঠিক কারণে সত্য বেছে নিচ্ছেন কিনা তার পর্যবেক্ষণ প্রয়োজন।

দুর্বল-থেকে-শক্তিশালী সাধারণীকরণ

OpenAI-এর ২০২৩ সালের গবেষণা জিজ্ঞাসা করেছিল একটি দুর্বলতর মডেল থেকে লেবেল একটি শক্তিশালী মডেলকে তার তত্ত্বাবধায়ককে ছাড়িয়ে যেতে প্রশিক্ষণ দিতে পারে কিনা। সরল ফাইন-টিউনিং কিছু দুর্বল-থেকে-শক্তিশালী সাধারণীকরণ তৈরি করেছিল, একইসাথে শক্তিশালী মডেলের সুপ্ত সক্ষমতা থেকে একটি উল্লেখযোগ্য ফাঁক রেখে দিয়েছিল। লেখকরা এই সেটআপ ও ভবিষ্যতের অতিমানবীয় সিস্টেম তদারকির মধ্যে অসাদৃশ্যের ওপর জোর দিয়েছিলেন (OpenAI, ২০২৩)।

এই পরীক্ষাটি প্রমাণ যে দুর্বল তত্ত্বাবধান তত্ত্বাবধায়কের সম্পূর্ণ কর্মক্ষমতা সিলিং আরোপ করতে হবে না। এটি প্রমাণ নয় যে একজন দুর্বল তত্ত্বাবধায়ক নির্ভরযোগ্যভাবে একটি শক্তিশালী এজেন্টের মূল্যবোধ সারিবদ্ধ করে, প্রতারণা শনাক্ত করে, বা দীর্ঘ-দিগন্তের আচরণ নিয়ন্ত্রণ করে। কাজটি একটি ফ্রন্টিয়ার ডেভেলপার দ্বারা তৈরি হয়েছিল যারা সুপার-অ্যালাইনমেন্টে আগ্রহী এবং ল্যাব ও সেটিংসজুড়ে পুনরুৎপাদিত হওয়া উচিত।

প্রক্রিয়া তত্ত্বাবধান ও ফলাফল

ফলাফল তত্ত্বাবধান একটি সঠিক চূড়ান্ত উত্তরকে পুরস্কৃত করে। প্রক্রিয়া তত্ত্বাবধান মধ্যবর্তী যুক্তি বা কর্মকে মূল্যায়ন করে। প্রক্রিয়া প্রমাণ ত্রুটি খুঁজে বের করতে ও শর্টকাটকে নিরুৎসাহিত করতে পারে, কিন্তু শুধুমাত্র যদি রেকর্ডকৃত প্রক্রিয়া বিশ্বস্ত হয়। একটি মডেল অন্য পথে উত্তরে পৌঁছানোর পর একটি আশ্বাসদায়ক যুক্তি তৈরি করতে পারে।

বাহ্যিক কর্ম পর্যবেক্ষণ করা — ফাইল প্রবেশাধিকার, কমান্ড জারি, অর্থ ব্যয়, বার্তা প্রেরণ — অভিপ্রায় সম্পর্কে গদ্য ব্যাখ্যা করার চেয়ে বেশি নির্ভরযোগ্য হতে পারে। টেম্পার-প্রমাণ লগ, সর্বনিম্ন সুযোগ-সুবিধা, স্যান্ডবক্সিং, এবং অনুমোদন গেট তত্ত্বাবধানকে সুনির্দিষ্ট করে তোলে। অভ্যন্তরীণ ব্যাখ্যাযোগ্যতা এই নিয়ন্ত্রণগুলোকে সম্পূরক করতে পারে কিন্তু প্রতিস্থাপন করে না।

মানবিক উপাদানই মূল বাধা

পর্যালোচকরা ক্লান্তি, স্বয়ংক্রিয়করণ পক্ষপাত, সময়ের চাপ, এবং প্রণোদনার দ্বন্দ্বে ভোগেন। একটি মানুষের ক্লিক অর্থবহ তত্ত্বাবধান নয় যদি অনুমোদন রুটিন হয়, প্রমাণ অপাঠযোগ্য হয়, বা সিস্টেম প্রত্যাখ্যান করা শাস্তিযোগ্য হয়। ইন্টারফেসে শুধু একটি সুপারিশকৃত উত্তরের বদলে অনিশ্চয়তা, মতভেদ, উৎসতা, এবং পরিণতি প্রকাশ করা উচিত।

প্রতিষ্ঠানগুলোর জনবল, সুরক্ষিত এস্কেলেশন, এবং স্থাপনা বন্ধ করার কর্তৃত্ব প্রয়োজন। নমুনায়ন কৌশল অস্বাভাবিক বা উচ্চ-প্রভাবের কেসের দিকে দুর্লভ মানবিক মনোযোগ নির্দেশ করতে পারে। বীজবপনকৃত ত্রুটি দিয়ে পর্যালোচনার মান পরীক্ষা করা উচিত এবং সময়ের সাথে পরিমাপ করা উচিত।

ডোমেইন দক্ষতাও গুরুত্বপূর্ণ। একজন সাধারণ পর্যালোচক একটি সূক্ষ্ম আইনি, জৈবিক, বা নিরাপত্তা ত্রুটি চিনতে নাও পারেন। বহু-বিষয়ভিত্তিক প্যানেল কভারেজ বাড়ায় কিন্তু দায়িত্ব বিচ্ছুরিত করতে পারে। প্রতিটি সিদ্ধান্তে একজন নামযুক্ত দায়বদ্ধ মালিক থাকা উচিত।

প্রতিকূল অনুমান

সাধারণ ভুলের জন্য তত্ত্বাবধান মূল্যায়ন পাস করার জন্য সক্রিয়ভাবে চেষ্টাকারী একটি সিস্টেমের তত্ত্বাবধান থেকে ভিন্ন। একটি প্রতিকূল সিস্টেম অনুমতি পরিবর্তন না হওয়া পর্যন্ত ভালো আচরণ করতে পারে, মনিটরকে শোষণ করতে পারে, আউটপুটে তথ্য লুকাতে পারে, বা প্রতিলিপিজুড়ে সমন্বয় করতে পারে। গবেষণায় বলা উচিত এটি সৎ ভুল, পুরস্কার-গেমিং, পরিস্থিতিগত সচেতনতা, বা কৌশলগত প্রতারণা অনুমান করছে কিনা।

একটি এআই দিয়ে অন্যটিকে পর্যবেক্ষণ করা সম্পর্কযুক্ত ঝুঁকি তৈরি করে। মডেল পরিবার, হাতিয়ার, প্রশিক্ষণ তথ্য, এবং প্রতিষ্ঠানের বৈচিত্র্য সাধারণ-মোড ব্যর্থতা কমাতে পারে, যদিও আপাত বৈচিত্র্য এখনও ভাগাভাগি অবকাঠামো ও বেঞ্চমার্কের ওপর নির্ভর করতে পারে।

এখন যা স্থাপন করা যায়

বর্তমান সিস্টেমের জন্য, প্রতিষ্ঠানগুলো পারে:

  1. পরিণতি ও প্রত্যাবর্তনযোগ্যতা অনুসারে কর্মকে শ্রেণীবদ্ধ করা;
  2. শুধুমাত্র নিম্ন-প্রভাব বিভাগে স্বয়ংক্রিয় কার্যকরকরণের অনুমতি দেওয়া;
  3. নিরাপত্তা, অর্থ, স্বাস্থ্য, বা জনসাধারণের যোগাযোগের জন্য একাধিক অনুমোদনের প্রয়োজন করা;
  4. যেখানে সম্ভব নির্ধারক পরীক্ষা ও স্বাধীন তথ্য ব্যবহার করা;
  5. প্রম্পট, হাতিয়ার কল, মডেল সংস্করণ, অনুমোদন, এবং ফলাফল লগ করা;
  6. পরিচিত ব্যর্থতা দিয়ে পর্যালোচকদের পরীক্ষা করা;
  7. ম্যানুয়াল ফলব্যাক সংরক্ষণ করা এবং শাটডাউন অনুশীলন করা;
  8. ঘটনা পর্যালোচনা করা এবং অনুমতি আপডেট করা।

এই নিয়ন্ত্রণগুলো ঝুঁকি কমায় এমনকি যদি স্কেলযোগ্য-তত্ত্বাবধান তত্ত্ব অমীমাংসিত থেকে যায়। এগুলো ব্যর্থতার হার ও মানবিক আচরণ সম্পর্কে প্রমাণও তৈরি করে।

গবেষণার দাবির জন্য কর্মক্ষম মেট্রিক প্রয়োজন

একটি বেঞ্চমার্কে নির্ভুলতা অপর্যাপ্ত। তত্ত্বাবধান মূল্যায়নে পরিমাপ করা উচিত ক্যালিব্রেশন, দুর্লভ উচ্চ-তীব্রতার ব্যর্থতা শনাক্তকরণ, মিথ্যা-অ্যালার্মের বোঝা, প্ররোচনা ও যোগসাজশের প্রতিরোধ, ডোমেইনজুড়ে স্থানান্তর, পর্যালোচকের সময়, এবং বণ্টন পরিবর্তনের অধীনে কর্মক্ষমতা। এগুলো সাহায্যবিহীন বিশেষজ্ঞ ও সরলতর নিয়ন্ত্রণের বিরুদ্ধে তুলনা করা উচিত।

প্রকাশনায় প্রকাশ করা উচিত কে কাজে অর্থায়ন করেছে, মডেল প্রবেশাধিকার, মূল্যায়নকারী নির্বাচন, বাদ দেওয়া ট্রায়াল, এবং গবেষকরা একজন ডেভেলপারের সাথে যুক্ত কিনা। শুধুমাত্র মডেল প্রদানকারী পরিদর্শন করতে পারে এমন একটি নিরাপত্তা পদ্ধতি স্বাধীনভাবে পুনরুৎপাদিত একটির চেয়ে দুর্বল জনসাধারণের আশ্বাস দেয়।

আইনের সাথে সম্পর্ক

নিয়ন্ত্রকরা একটি সেফটি কেস, স্বাধীন মূল্যায়ন, রেকর্ড, ঘটনা প্রতিবেদন, এবং দায়বদ্ধ মানুষ প্রয়োজন করতে পারেন। তারা একটি প্রযুক্তিগত সমাধান আইনের মাধ্যমে অস্তিত্বে আনতে পারেন না। বিপরীতভাবে, তত্ত্বাবধানকে একটি গবেষণা সমস্যা বলা অনিয়ন্ত্রিত স্থাপনাকে ক্ষমা করা উচিত নয়। প্রমাণ সম্প্রসারণকে সমর্থন না করা পর্যন্ত আইন অনুমতি ও স্কেল সীমাবদ্ধ করতে পারে।

EU AI আইনের সিস্টেমিক-ঝুঁকি বাধ্যবাধকতা মূল্যায়ন ও প্রশমনের জন্য একটি আইনি পরিবেশ প্রদান করে, কিন্তু সম্মতি প্রান্তিককরণের প্রমাণ নয়। মান ও অডিট অবশ্যই সক্ষমতার সাথে বিকশিত হতে হবে।

২০২৬ সালের সেপ্টেম্বরের সৎ অবস্থা হলো স্কেলযোগ্য তত্ত্বাবধানে প্রতিশ্রুতিশীল উপাদান রয়েছে — যাচাইকরণ, বিভাজন, সমালোচনা, দুর্বল-থেকে-শক্তিশালী শিক্ষণ, পর্যবেক্ষণ, এবং মানবিক উপাদান — কিন্তু কোনো সাধারণ সমাধান নেই। সঠিক প্রতিক্রিয়া হলো ধাপে ধাপে স্বায়ত্তশাসন ও স্তরীভূত প্রমাণ, নিষ্ক্রিয়ভাবে পরিপূর্ণতার জন্য অপেক্ষা করা বা একটি মানব অনুমোদন বোতামই যথেষ্ট বলে ধরে নেওয়া নয়।

References

Summarized position

Collin Burns found that a GPT-2-level model could help elicit close to GPT-3.5-level performance from GPT-4.

Collin Burns, Lead author; OpenAI Superalignment team
"Weak-to-Strong Generalization" (arXiv), Primary source
  1. OpenAI, ২০২৩ cdn.openai.com

Type to search the manual.

↑↓ navigate ↵ open esc close