ব্যাখ্যাযোগ্যতা: একটি মডেল ভেতরে-ভেতরে কী করছে তা পড়া

ব্যাখ্যাযোগ্যতা কী প্রতিশ্রুতি দেয়

একটি নিউরাল নেটওয়ার্ক প্রশিক্ষিত হয় বহু সাংখ্যিক প্যারামিটার সমন্বয় করে, প্রতিটি উত্তরের জন্য একজন প্রকৌশলী একটি পাঠযোগ্য নিয়ম লিখে দিয়ে নয়। ডেভেলপাররা আর্কিটেকচার, প্রশিক্ষণ পদ্ধতি, এবং তথ্য পাইপলাইন জানেন, তবুও কোন অভ্যন্তরীণ গণনা একটি নির্দিষ্ট আউটপুট তৈরি করেছে তা ব্যাখ্যা করতে তারা সক্ষম নাও হতে পারেন। ব্যাখ্যাযোগ্যতা গবেষণা সেই গণনার অংশবিশেষকে এমন প্রমাণে রূপান্তরিত করার চেষ্টা করে যা মানুষ পরীক্ষা করতে পারে।

এটি মডেলটিকে নিজেকে ব্যাখ্যা করতে বলার থেকে ভিন্ন। একটি তৈরি করা চিন্তা-শৃঙ্খল ভুল, অসম্পূর্ণ, প্ররোচক শোনানোর জন্য অপ্টিমাইজড, বা কার্যকারণমূলক প্রক্রিয়া থেকে বিচ্ছিন্ন হতে পারে। এটি একটি ছোট পূর্বাভাসমূলক মডেলের প্রচলিত ফিচার-গুরুত্বের থেকেও ভিন্ন। ফ্রন্টিয়ার ভাষা মডেলে বিতরণকৃত উপস্থাপনা এবং অনেক পারস্পরিক ক্রিয়াশীল উপাদান থাকে।

একটি লেবেলের অধীনে একাধিক পদ্ধতি

আচরণগত ব্যাখ্যাযোগ্যতা পদ্ধতিগত পরীক্ষার মাধ্যমে ইনপুটকে আউটপুটের সাথে মানচিত্রিত করে। এটি একটি অভ্যন্তরীণ সার্কিট খুঁজে না পেয়েও প্রবণতা খুঁজে পেতে পারে। যান্ত্রিক ব্যাখ্যাযোগ্যতা নেটওয়ার্কের ভেতরের উপাদান, অ্যাক্টিভেশন, ফিচার, এবং কার্যকারণমূলক পথ অধ্যয়ন করে। ধারণা-ভিত্তিক পদ্ধতি অ্যাক্টিভেশন প্যাটার্নকে মানুষের বর্ণনার সাথে সংযুক্ত করে। অ্যাট্রিবিউশন অনুমান করে কোন ইনপুট বা উপাদান একটি আউটপুটকে প্রভাবিত করেছে। প্রোবিং একটি শ্রেণীবিভাজককে প্রশিক্ষণ দেয় পরীক্ষা করতে যে একটি অভ্যন্তরীণ অবস্থা থেকে তথ্য উদ্ধার করা যায় কিনা।

প্রতিটি ভিন্ন প্রশ্নের উত্তর দেয়। ব্যবহৃত না হয়েও তথ্য ডিকোডযোগ্য হতে পারে। একটি ফিচার বর্ণনা বোধগম্য কিন্তু অসম্পূর্ণ হতে পারে। অ্যাক্টিভেশন ও আউটপুটের মধ্যে সহসম্পর্ক কার্যকারণ প্রতিষ্ঠা নাও করতে পারে। হস্তক্ষেপ — একটি উপাদান পরিবর্তন বা দমন করে ফলাফল পর্যবেক্ষণ করা — শক্তিশালী কার্যকারণমূলক প্রমাণ দেয়, কিন্তু অপ্রত্যাশিত পার্শ্বপ্রতিক্রিয়া তৈরি করতে পারে।

স্পার্স অটোএনকোডার ও ফিচার অভিধান

মডেল অ্যাক্টিভেশন একই মাত্রায় অনেক প্যাটার্ন উপরিপাতিত করতে পারে। স্পার্স অটোএনকোডার সেই অ্যাক্টিভেশনগুলোকে একটি বৃহত্তর সেট ফিচারে বিশ্লিষ্ট করার চেষ্টা করে যা নির্বাচনীভাবে সক্রিয় হয়। Anthropic Claude 3 Sonnet থেকে লক্ষ লক্ষ ফিচার নিষ্কাশনের এবং স্বীকৃত ধারণার সাথে যুক্ত উদাহরণ চিহ্নিত করার কথা জানিয়েছে। এটি নিজের মডেল সম্পর্কে একটি ডেভেলপারের গবেষণা ফলাফল, সম্পূর্ণ স্বচ্ছতার স্বাধীন প্রমাণ নয় (Anthropic, ২০২৪)।

স্কেলিং কঠিন: গবেষকদের বেছে নিতে হয় কোন স্তর ও টোকেন বিশ্লেষণ করবেন, অতিরিক্ত মডেল প্রশিক্ষণ দিতে হয়, বিপুল সংখ্যক ফিচার লেবেল করতে হয়, এবং নির্ধারণ করতে হয় যে উদ্ধারকৃত ফিচারগুলো মূল গণনাকে বিশ্বস্তভাবে প্রতিনিধিত্ব করে কিনা। কিছু ফিচার ব্যাখ্যার অযোগ্য থেকে যায়; একটি ফিচার একাধিক অর্থ মিশ্রিত করতে পারে; গুরুত্বপূর্ণ তথ্য হারিয়ে যেতে পারে; এবং স্বয়ংক্রিয় লেবেল ভুল হতে পারে।

Anthropic-এর ২০২৬ সালের প্রাকৃতিক-ভাষা-অটোএনকোডার কাজ স্পষ্টভাবে বলে যে তৈরি করা ব্যাখ্যা ভুল হতে পারে, একইসাথে অ্যাক্টিভেশনকে টেক্সটে অনুবাদ করার ও তা পুনর্গঠনের একটি সীমিত সক্ষমতা রিপোর্ট করে (Anthropic, মে ২০২৬)। এটি অগ্রগতি, একটি স্নায়বিক প্রতিলিপি নয়।

অডিটিং হলো বাস্তব পরীক্ষা

ব্যাখ্যাযোগ্যতা মূল্যবান যখন এটি একটি বাস্তব সিদ্ধান্ত উন্নত করে: একটি লুকানো উদ্দেশ্য খুঁজে বের করা, একটি জেইলব্রেক নির্ণয় করা, আচরণে প্রকাশের আগেই একটি ব্যর্থতার পূর্বাভাস দেওয়া, বা যাচাই করা যে একটি সুরক্ষা ব্যবস্থা উদ্দিষ্ট প্রক্রিয়াকে প্রভাবিত করছে কিনা। নিয়ন্ত্রিত অডিটিং গেম পরীক্ষা করতে পারে যে হাতিয়ার ব্যবহারকারী দলগুলো ইচ্ছাকৃতভাবে ঢোকানো সমস্যা চিহ্নিত করে কিনা।

২০২৫ সালের একটি Anthropic গবেষণায়, দলগুলো একটি লুকানো উদ্দেশ্যসহ প্রশিক্ষিত মডেল অডিট করেছিল আচরণগত, প্রশিক্ষণ-তথ্য, এবং ব্যাখ্যাযোগ্যতা পদ্ধতি ব্যবহার করে (Anthropic, মার্চ ২০২৫)। ইচ্ছাকৃতভাবে নির্মিত একটি গেমে সাফল্য উৎপাদনে অজানা উদ্দেশ্যের নির্ভরযোগ্য শনাক্তকরণ প্রতিষ্ঠা করে না, তবে এটি শুধুমাত্র আকর্ষণীয় ফিচার ভিজ্যুয়ালাইজেশনের চেয়ে কর্মক্ষম বৈধতার কাছাকাছি।

একটি পরিপক্ব বেঞ্চমার্ককে পরিমাপ করা উচিত মিথ্যা-নেতিবাচক, মিথ্যা-ইতিবাচক, সময়, দক্ষতা, অপরিচিত মডেলে সাধারণীকরণ, এবং ফলাফল স্থাপনার সিদ্ধান্ত পরিবর্তন করে কিনা। এতে স্বাধীন দল অন্তর্ভুক্ত করা এবং নেতিবাচক ফলাফল প্রকাশ করা উচিত।

কেন নিয়ন্ত্রণ-ক্ষয় গবেষকরা এতে মনোযোগ দেন

যদি একটি সিস্টেম মূল্যায়নের সময় কৌশলগতভাবে ভিন্ন আচরণ করতে পারে, তাহলে শুধুমাত্র-আউটপুট পরীক্ষা মিথ্যা আশ্বাস দিতে পারে। অভ্যন্তরীণ প্রমাণ পরিকল্পনা, পরিস্থিতিগত সচেতনতা, প্রতারণা, বা নিষিদ্ধ জ্ঞান প্রকাশ করতে পারে এমনকি যখন আচরণ সম্মতিপূর্ণ দেখায়। ব্যাখ্যাযোগ্যতা স্থাপনার সময় সিস্টেম পর্যবেক্ষণও করতে পারে।

এই যুক্তি আংশিকভাবে তাত্ত্বিক থেকে যায়। বর্তমান হাতিয়ারগুলো নির্ভরযোগ্যভাবে অভিপ্রায় পড়তে পারে না, এবং “অভিপ্রায়” একটি স্থিতিশীল, মানুষ-পাঠযোগ্য বস্তু হিসেবে উপস্থাপিত নাও হতে পারে। একটি ব্যাখ্যাযোগ্যতা ড্যাশবোর্ডে অতিরিক্ত আস্থা অস্বচ্ছতা স্বীকার করার চেয়ে খারাপ হতে পারে। সেফটি কেসে বলা উচিত একটি পদ্ধতি কোন ব্যর্থতা মোড শনাক্ত করতে পারে, কোন সংবেদনশীলতায়, এবং কোন প্রতিকূল অনুমানের অধীনে।

ব্যাখ্যাযোগ্যতার বর্তমান-দিনের ব্যবহারও আছে

এই ক্ষেত্রকে এজিআই-এর জন্য অপেক্ষা করতে হবে না। হাতিয়ারগুলো পক্ষপাত, মুখস্থকরণ, হ্যালুসিনেশন প্রক্রিয়া, মডেল সম্পাদনা, এবং অপ্রত্যাশিত সাধারণীকরণ তদন্ত করতে পারে। এগুলো ডেভেলপারদের বুঝতে সাহায্য করতে পারে কেন ফাইন-টিউনিং আচরণ পরিবর্তন করেছে বা নিরাপত্তা প্রশিক্ষণ কোথায় ভঙ্গুর। এই ব্যবহারগুলো সাধারণ নির্ভরযোগ্যতা উন্নত করতে পারে এমনকি যদি ব্যাপক বিপরীত-প্রকৌশল দূরবর্তী থেকে যায়।

তবে, একটি ব্যাখ্যা সংবেদনশীল প্রশিক্ষণ তথ্য প্রকাশ করতে বা সক্ষমতা নিয়ন্ত্রণ সক্ষম করতে পারে। একটি নিরাপত্তা-প্রাসঙ্গিক প্রক্রিয়া খুঁজে বের করার সক্ষমতা প্রকাশ করা রক্ষাকারী ও আক্রমণকারী উভয়কেই সাহায্য করতে পারে। দায়িত্বশীল প্রকাশ ও ধাপে ধাপে প্রবেশাধিকার কখনও কখনও যথাযথ হতে পারে।

মূল্যায়ন-সচেতনতা সমস্যা

একটি মডেল প্রম্পট, হাতিয়ার, বা পরিবেশ থেকে অনুমান করতে পারে যে এটি পরীক্ষা করা হচ্ছে। আচরণগত মূল্যায়ন ইঙ্গিত কমাতে পারে, লুকানো পরীক্ষা ব্যবহার করতে পারে, এবং স্থাপনার পরেও চালিয়ে যেতে পারে। অভ্যন্তরীণ পদ্ধতি গেম করা কঠিন হতে পারে যদি মডেলটি সেগুলোর প্রত্যাশা না করে থাকে, কিন্তু পরিচিত মনিটরের বিরুদ্ধে প্রশিক্ষিত একটি সিস্টেম বিকল্প উপস্থাপনা শিখতে পারে।

এটি একটি প্রতিকূল চক্র তৈরি করে। ব্যাখ্যাযোগ্যতা একবার প্রত্যয়িত হয়ে স্থায়ী হিসেবে বিবেচিত হতে পারে না। পদ্ধতি, পরীক্ষা সেট, এবং প্রবেশাধিকার নিয়ন্ত্রণের নবায়ন প্রয়োজন, এবং দাবিগুলোতে পরীক্ষিত মডেল সংস্করণ নির্দিষ্ট করা উচিত।

স্বাধীনতা ও স্বার্থের দ্বন্দ্ব

শীর্ষস্থানীয় কাজ প্রায়ই মডেল ডেভেলপারদের থেকে আসে কারণ তাদের কাছে ওয়েট, অ্যাক্টিভেশন, কম্পিউট, এবং প্রকৌশল জ্ঞান রয়েছে। তারা আশ্বাসদায়ক ব্যাখ্যা থেকেও উপকৃত হয় এবং নিরাপত্তা-সংবেদনশীল বিবরণ আটকে রাখতে পারে। একাডেমিক দলগুলো স্বাধীনতা প্রদান করে কিন্তু প্রবেশাধিকারের অভাব হতে পারে। জনস্বার্থ মূল্যায়ন প্রতিষ্ঠান এই ফাঁক পূরণ করতে পারে যদি তারা নিরাপদ প্রবেশাধিকার, তহবিল, এবং প্রকাশনার অধিকার পায়।

Anthropic-এর CEO যুক্তি দিয়েছেন যে শক্তিশালী এআই আরও শক্তিশালী ব্যাখ্যাযোগ্যতা ছাড়া স্থাপন করা উচিত নয়। এটি একজন কোম্পানি নেতার একটি প্রভাবশালী নীতিগত অবস্থান, ঐকমত্যের সময়সীমা বা কোম্পানির কৌশল সফল হবে এমন প্রমাণ নয়। বিক্রেতা গবেষণা পিয়ার-পর্যালোচিত সমালোচনা ও পুনরুৎপাদনের সাথে একসাথে পড়া উচিত।

ভালো প্রমাণ কেমন দেখাবে

উচ্চ-ঝুঁকির স্থাপনাকে সমর্থন করার আগে, মূল্যায়নকারীদের জিজ্ঞাসা করা উচিত:

• পদ্ধতিটি কোথায় আছে তা না বলা হয়েও পরিচিত প্রক্রিয়া উদ্ধার করে কিনা?
• এটি ইচ্ছাকৃতভাবে লুকানো ও স্বাভাবিকভাবে ঘটা ব্যর্থতা উভয়ই খুঁজে পায় কিনা?
• এটি কত ঘনঘন একটি বিশ্বাসযোগ্য কিন্তু মিথ্যা ব্যাখ্যা তৈরি করে?
• স্বাধীন দলগুলো ফলাফল পুনরুৎপাদন করতে পারে কিনা?
• বণ্টন পরিবর্তন বা প্রতিকূল প্রশিক্ষণের পরেও এটি কাজ করে কিনা?
• ব্যাখ্যা দ্বারা পূর্বাভাসিত হস্তক্ষেপ প্রত্যাশিতভাবে আচরণ পরিবর্তন করে কিনা?
• প্রাসঙ্গিক গণনার কত অংশ অব্যাখ্যাত থেকে যায়?

কভারেজ গুরুত্বপূর্ণ। লক্ষ লক্ষ ফিচার বোঝা চিত্তাকর্ষক শোনায়, কিন্তু একটি হর প্রয়োজন। যদি মডেলে আরও বেশি প্রাসঙ্গিক কাঠামো থাকে, তাহলে মানচিত্রিত অংশটি এখনও ছোট হতে পারে।

ব্যাখ্যাযোগ্যতা একটি মাত্র স্তর

এমনকি নিখুঁত মডেল বোঝাপড়াও সিদ্ধান্ত নেবে না কোন মূল্যবোধ বাস্তবায়ন করতে হবে, কে স্থাপনার অনুমোদন দেয়, বা একটি প্রতিষ্ঠান সতর্কতার ওপর কাজ করবে কিনা। বিপরীতভাবে, অসম্পূর্ণ বোঝাপড়া সমস্ত ব্যবহারকে অসম্ভব করে তোলে না। বিমান চলাচল ও চিকিৎসাবিজ্ঞান আংশিক মডেলকে পরীক্ষা, পর্যবেক্ষণ, বাহুল্যতা, এবং সীমাবদ্ধ পরিচালনার সাথে একত্রিত করে।

ব্যাখ্যাযোগ্যতাকে স্কেলযোগ্য তত্ত্বাবধান, প্রবেশাধিকার নিয়ন্ত্রণ, রেড টিমিং, ঘটনা প্রতিবেদন, এবং করিজিবিলিটিকে শক্তিশালী করা উচিত। এটি শুধুমাত্র একটি ভিজ্যুয়ালাইজেশন পাঠযোগ্য দেখাচ্ছে বলেই ব্যাপক স্বায়ত্তশাসন প্রদানের লাইসেন্স হয়ে ওঠা উচিত নয়।

২০২৬ সালের সেপ্টেম্বরের যথাযথ অবস্থা হলো অর্থবহ কিন্তু আংশিক অগ্রগতি। গবেষকরা কিছু অভ্যন্তরীণ ফিচার শনাক্ত ও পরিচালনা করতে পারেন এবং নিয়ন্ত্রিত অডিটে হাতিয়ার ব্যবহার করতে পারেন। তারা নির্ভরযোগ্যভাবে একটি ফ্রন্টিয়ার মডেলের সম্পূর্ণ যুক্তি অনুবাদ করতে পারেন না বা প্রতারণা শনাক্তকরণের নিশ্চয়তা দিতে পারেন না। এই ফাঁক এখনও বিশাল বলেই এই ক্ষেত্রটি মৌলিক।