কম্পিউট ও স্কেলিং সূত্র, ব্যাখ্যাসহ

একটি স্কেলিং সূত্র একটি অভিজ্ঞতাভিত্তিক সম্পর্ক

মেশিন লার্নিংয়ে, একটি স্কেলিং সূত্র বর্ণনা করে একটি পরিমাপকৃত পরিমাণ কীভাবে একটি ইনপুট বৃদ্ধি পাওয়ার সাথে সাথে পরিবর্তিত হয়। বৃহৎ ভাষা মডেলের ক্ষেত্রে, গবেষকরা দেখেছেন যে প্রশিক্ষণ ক্ষতি প্রায়ই একটি অপেক্ষাকৃত মসৃণ, পূর্বাভাসযোগ্য উপায়ে উন্নত হয় যখন মডেলের আকার, প্রশিক্ষণ তথ্য, এবং গণনা বৃদ্ধি পায়। OpenAI-এর 2020-এর কাজ পরীক্ষিত পরিসরে শক্তি-সূত্র সম্পর্ক প্রতিবেদন করেছে (Kaplan et al.)। DeepMind-এর পরবর্তী “Chinchilla” গবেষণা দেখিয়েছে যে, একটি নির্দিষ্ট কম্পিউট বাজেটের অধীনে, অনেক মডেল খুব কম তথ্যে প্রশিক্ষিত হয়েছিল এবং প্যারামিটার ও প্রশিক্ষণ টোকেনগুলো আরও সমানভাবে একসাথে স্কেল করা উচিত ছিল (Hoffmann et al.)।

এই ফলাফলগুলো গুরুত্বপূর্ণ ছিল কারণ তারা ব্যয়বহুল প্রশিক্ষণ চালনাগুলোকে আরও পূর্বাভাসযোগ্য করে তুলেছিল। একটি ল্যাব ছোট পরীক্ষা চালাতে পারত, বড় স্কেলে ক্ষতি কীভাবে পরিবর্তিত হবে তা অনুমান করতে পারত, এবং তথ্য, প্যারামিটার, ও কম্পিউটের মধ্যে একটি বাজেট বরাদ্দ করতে পারত। কিন্তু সূত্রটি একটি পর্যবেক্ষিত শাসনব্যবস্থার ভেতরের পরিমাপ বর্ণনা করে। এটি কোনো ভৌত নিশ্চয়তা নয় যে প্রতিটি সক্ষমতা অনির্দিষ্টকালের জন্য উন্নত হবে বা যথেষ্ট গ্রাফিক্স প্রসেসর স্বয়ংক্রিয়ভাবে এজিআই তৈরি করে।

কম্পিউট শুধুমাত্র একটি উপাদান

“কম্পিউট” সাধারণত প্রশিক্ষণ বা ইনফারেন্সে ব্যবহৃত সাংখ্যিক অপারেশনের সংখ্যা বোঝায়, কিন্তু এমনকি সেই সংক্ষিপ্ত রূপও গুরুত্বপূর্ণ পার্থক্য লুকিয়ে রাখে। একই নামমাত্র অপারেশনসহ দুটি প্রশিক্ষণ চালনা চিপ ব্যবহার, সাংখ্যিক নির্ভুলতা, তথ্যের মান, আর্কিটেকচার, অপ্টিমাইজেশন, এবং সফটওয়্যারের কারণে ভিন্ন সিস্টেম তৈরি করতে পারে। অ্যালগরিদমিক উন্নতি একই হার্ডওয়্যার থেকে ভালো কর্মক্ষমতা পেতে পারে। সূক্ষ্ম-সমন্বয়, পুনরুদ্ধার, সরঞ্জাম, স্মৃতি, এবং এজেন্ট স্ক্যাফোল্ডিং প্রি-ট্রেনিংয়ের পরে স্থাপিত আচরণকে উল্লেখযোগ্যভাবে পরিবর্তন করতে পারে।

তথ্য পরিমাণ ও গঠন উভয় ক্ষেত্রেই গুরুত্বপূর্ণ। নকল, নিম্ন-মানের, বা দূষিত উদাহরণগুলো সাবধানে নির্বাচিত তথ্যের সমতুল্য নয়। সিন্থেটিক তথ্য একটি সংগ্রহকে সম্প্রসারিত বা লক্ষ্যবস্তু করতে পারে, কিন্তু জেনারেশন ও ফিল্টারিং খারাপ হলে ত্রুটি বর্ধিত হতে পারে। তথ্যের অধিকার, গোপনীয়তা, ভাষা কভারেজ, এবং প্রতিনিধিত্বও একটি মডেল কী শেখে তা প্রভাবিত করে।

ইনফারেন্স-সময়ের গণনা আরেকটি মাত্রা যোগ করে। কিছু সিস্টেম একটি কঠিন প্রম্পটের জন্য মধ্যবর্তী প্রার্থী তৈরি ও যাচাই করতে বেশি অপারেশন ব্যয় করে। এটি প্রি-ট্রেইনড মডেল পরিবর্তন না করেই কর্মক্ষমতা উন্নত করতে পারে, কিন্তু এটি খরচ ও বিলম্ব বাড়ায় এবং শুদ্ধতার নিশ্চয়তা দেয় না। একটি সম্পূর্ণ স্কেলিং আলোচনার জন্য এখন অন্তত প্রশিক্ষণ কম্পিউট, ইনফারেন্স কম্পিউট, তথ্য, অ্যালগরিদম, এবং আশেপাশের সিস্টেমের প্রয়োজন।

ক্ষতির বক্ররেখা সক্ষমতার বক্ররেখা নয়

প্রশিক্ষণ ক্ষতি বিশাল ডেটাসেট জুড়ে গড় পূর্বাভাসমূলক ত্রুটি পরিমাপ করে। ক্ষতির একটি মসৃণ হ্রাস মানব-মুখী কাজে অসম পরিবর্তনের সাথে থাকতে পারে। একটি বেঞ্চমার্ক একটি সীমারেখা দেখাতে পারে কারণ একটি সুপ্ত উন্নতি অবশেষে তার পাস চিহ্ন অতিক্রম করে, কারণ মডেলটি বেশ কয়েকটি প্রয়োজনীয় উপ-দক্ষতা শেখে, বা কারণ স্কোরিং ধীর অগ্রগতিকে একটি বাইনারি ফলাফলে রূপান্তরিত করে। অন্যান্য দক্ষতা মসৃণভাবে উন্নত হতে পারে, স্থির থাকতে পারে, বা নিরাপত্তা টিউনিং বা সিস্টেম পরিবর্তনের পরে অবনতি হতে পারে।

এই পার্থক্যটি দুটি বিপরীত ভুল প্রতিরোধ করে। প্রথমটি হলো ধরে নেওয়া যে একটি পূর্বাভাসযোগ্য ক্ষতির বক্ররেখা প্রতিটি ভবিষ্যৎ আচরণকে পূর্বাভাসযোগ্য করে তোলে। তা করে না। দ্বিতীয়টি হলো দাবি করা যে সমস্ত সক্ষমতা লাভ রহস্যময় বিচ্ছিন্নতা। অনেক আপাত আকস্মিক বেঞ্চমার্ক লাভ আরও মসৃণ হয়ে ওঠে যখন গবেষকরা ধারাবাহিক, অ-রৈখিক, বা ত্রুটি-সংবেদনশীল মেট্রিক ব্যবহার করেন (Schaeffer, Miranda এবং Koyejo, 2023)। উভয় অনিশ্চয়তা এবং আংশিক পূর্বাভাসযোগ্যতা সত্য হতে পারে।

স্কেলিং মূল্যায়ন নকশার সাথেও মিথস্ক্রিয়া করে। সর্বজনীন পরীক্ষা সম্পৃক্ত হতে পারে বা প্রশিক্ষণ তথ্যে ফাঁস হতে পারে। একটি মডেল বাস্তব-জগতের নির্ভরযোগ্যতায় সমতুল্য লাভ ছাড়াই পরীক্ষা-দেওয়ায় উন্নত হতে পারে। বিপরীতভাবে, বিদ্যমান বেঞ্চমার্কগুলো উপযোগী সক্ষমতা মিস করতে পারে। ক্ষতির হ্রাস কী কিনেছে তা ব্যাখ্যা করতে একাধিক মূল্যায়ন, ব্যক্তিগত কাজ, মানব বিশেষজ্ঞ পর্যালোচনা, এবং স্থাপনা প্রমাণ প্রয়োজন।

প্রবণতা কোথায় বাঁকতে পারে

ভৌত ক্ষমতা সীমাহীন নয়। ফ্রন্টিয়ার প্রশিক্ষণ ও পরিবেশন উন্নত চিপ, উচ্চ-ব্যান্ডউইথ মেমরি, নেটওয়ার্কিং, বিদ্যুৎ, শীতলীকরণ, জমি, নির্মাণ, এবং সরবরাহ শৃঙ্খলের ওপর নির্ভরশীল। International Energy Agency প্রত্যাশা করে যে ডেটা-সেন্টার বিদ্যুৎ চাহিদা 2030 পর্যন্ত উল্লেখযোগ্যভাবে বৃদ্ধি পাবে, একই সাথে অনিশ্চয়তা ও তীব্র ভৌগোলিক ঘনত্বের ওপর জোর দিয়ে (IEA, Energy and AI)। বৈশ্বিক শক্তি যথেষ্ট হলেও স্থানীয় গ্রিড বিলম্ব গুরুত্বপূর্ণ হতে পারে।

উচ্চ-মানের মানব-উৎপাদিত তথ্যও সসীম, যদিও সেই সীমাবদ্ধতার প্রভাব নতুন তথ্য উৎস, মাল্টিমোডাল প্রশিক্ষণ, সিন্থেটিক তথ্য, এবং বিদ্যমান সংগ্রহের আরও দক্ষ ব্যবহারের ওপর নির্ভর করে। অর্থনৈতিক সীমা প্রযুক্তিগত সীমার আগে আসতে পারে: একটি বড় মডেলকে প্রশিক্ষণ, পরিবেশন, এবং সুযোগ-ব্যয় ন্যায্য করার জন্য যথেষ্ট মূল্য তৈরি করতে হবে। বিলম্ব ও মেমরি ব্যান্ডউইথ পণ্যগুলোকে সীমাবদ্ধ করতে পারে এমনকি যখন সামগ্রিক অপারেশন উপলব্ধ থাকে।

হ্রাসমান প্রতিদান স্কেলিংয়ে অন্তর্নির্মিত। একটি শক্তি-সূত্র চলতে পারে যখন প্রতিটি অতিরিক্ত উন্নতির জন্য অনেক বেশি ব্যয় প্রয়োজন হয়। এর মানে অগ্রগতি থেমে যায় না, কিন্তু এটি অর্থনীতি বদলে দেয়। একটি নতুন আর্কিটেকচার বা অ্যালগরিদম বক্ররেখা সরাতে পারে, যখন নিরাপত্তা, নির্ভরযোগ্যতা, বা মূর্তায়নের জন্য এমন অগ্রগতি প্রয়োজন হতে পারে যা পরবর্তী-টোকেন পূর্বাভাস ক্ষতি ধরে না। বর্তমান স্কেলিং সূত্র থেকে একা কেউ প্রতিষ্ঠা করতে পারে না সেই অগ্রগতিগুলো কোথায় ঘটবে।

কেন কম্পিউট একটি শাসন লিভার হিসেবে থেকে যায়

এই সতর্কতা সত্ত্বেও, উন্নত কম্পিউট অস্বাভাবিকভাবে ভৌত ও কেন্দ্রীভূত। অত্যাধুনিক চিপ একটি সংকীর্ণ বৈশ্বিক সরবরাহ শৃঙ্খলের মাধ্যমে তৈরি হয়, এবং সবচেয়ে বড় প্রশিক্ষণ ক্লাস্টারগুলোর জন্য দৃশ্যমান পুঁজি, শক্তি, এবং নেটওয়ার্কিং প্রয়োজন। সরকারগুলো তাই ফ্রন্টিয়ার সক্ষমতার প্রক্সি হিসেবে চিপ রপ্তানি নিয়ন্ত্রণ, প্রতিবেদন প্রয়োজনীয়তা, এবং ডেটা-সেন্টার নিয়ম ব্যবহার করে। অ্যালগরিদম বা অনুলিপি করা সফটওয়্যারের চেয়ে কম্পিউট পর্যবেক্ষণ করা সহজ হতে পারে।

প্রক্সিটি অসম্পূর্ণ। অ্যালগরিদম আরও দক্ষ হওয়ার সাথে সাথে সীমারেখাগুলো অপ্রচলিত হয়ে যেতে পারে। বিতরণকৃত প্রশিক্ষণ ও ইনফারেন্স হিসাবরক্ষণকে জটিল করে তোলে। একটি খারাপভাবে লেখা কম্পিউট নিয়ম বৈধ গবেষণার ওপর বোঝা চাপাতে পারে, বড় প্রতিষ্ঠিত সংস্থাগুলোকে সুরক্ষিত করতে পারে, বা এড়ানোকে উৎসাহিত করতে পারে। প্রশিক্ষণ কম্পিউট সূক্ষ্ম-সমন্বয়, সরঞ্জাম ব্যবহার, বা অনেক ইনফারেন্স কলের মাধ্যমে একত্রিত সক্ষম সিস্টেমগুলোও মিস করে। কার্যকর নীতির উচিত সীমারেখা হালনাগাদ করা, দক্ষতার হিসাব রাখা, গোপনীয়তা রক্ষা করা, এবং ক্ষতির ওপর দায়বদ্ধতা কেন্দ্রীভূত করা, অপারেশনকে ক্ষতি হিসেবে বিবেচনা না করে।

কম্পিউট শাসন সবচেয়ে শক্তিশালী যখন এটি সক্ষমতা মূল্যায়নের সাথে যুক্ত থাকে। কম্পিউট পর্যালোচনার যোগ্য চালনা চিহ্নিত করতে পারে; মূল্যায়নগুলো পরীক্ষা করতে পারে একটি ফলাফলী সিস্টেম একটি বিপজ্জনক-সক্ষমতা সীমারেখা অতিক্রম করে কিনা; স্থাপনা নিরীক্ষণ অপব্যবহার ও ব্যর্থতা প্রকাশ করতে পারে। কোনো একক মেট্রিকের ওপর সম্পূর্ণ নিয়ন্ত্রক বোঝা পড়া উচিত নয়।

স্কেলিং এজিআই সময়সীমা নিষ্পত্তি করে না

দ্রুত বিনিয়োগ প্রমাণ যে ডেভেলপাররা বড় ও আরও দক্ষ সিস্টেম থেকে প্রতিদান আশা করেন। ঐতিহাসিক স্কেলিং প্রমাণ যে অতিরিক্ত সম্পদ প্রায়ই পরিমাপকৃত কর্মক্ষমতা উন্নত করেছে। কোনোটিই এজিআই-এর জন্য একটি তারিখ প্রমাণ করে না। পূর্বাভাসগুলোকে হার্ডওয়্যার, শক্তি, তথ্য, অ্যালগরিদম, ইনফারেন্স, নির্ভরযোগ্যতা, এবং এজিআই-এর সংজ্ঞা নিজেই মডেল করতে হবে।

দাবি যে “স্কেলিং থেমে গেছে” কোন মেট্রিক ও সিস্টেম নির্দিষ্ট করতে হবে। দাবি যে “স্কেলিংই সবকিছু” দেখাতে হবে যে অবশিষ্ট ফাঁকগুলো একই প্রবণতায় হ্রাসযোগ্য। সেই স্লোগানগুলোর মধ্যে রয়েছে প্রতিরক্ষাযোগ্য অবস্থান: স্কেলিং সূত্রগুলো আধুনিক এআই-এর সবচেয়ে উপযোগী অভিজ্ঞতাভিত্তিক নিয়মিততাগুলোর মধ্যে একটি, কিন্তু তারা শাসনব্যবস্থার মধ্যে গড় পূর্বাভাস দেয় গুণগত সামাজিক পরিণতির চেয়ে ভালো।

পাঠকদের কী জিজ্ঞাসা করা উচিত

যখন একটি নতুন মডেল স্কেলের জন্য দায়ী করা হয়, জিজ্ঞাসা করুন কোন সম্পদ বৃদ্ধি পেয়েছে, কতটা, এবং কোন ভিত্তির বিরুদ্ধে। তুলনাটি কি কম্পিউট-অপ্টিমাল ছিল? তথ্য বা অ্যালগরিদম কি পরিবর্তিত হয়েছে? প্রতিবেদিত লাভটি কি প্রশিক্ষণ ক্ষতি, একটি বেঞ্চমার্ক, বিশেষজ্ঞ কাজ, বা একটি স্থাপিত ফলাফলের ওপর? নির্ভরযোগ্যতা ও খরচ কেমন দেখাচ্ছিল? ফলাফলগুলো কি স্বাধীনভাবে পুনরুৎপাদনযোগ্য?

সেই প্রশ্নগুলো স্কেলিং সূত্রের প্রকৃত পাঠ সংরক্ষণ করে এটিকে পুরাণে পরিণত না করে। বেশি কম্পিউট বারবার ভালো মডেল সক্ষম করেছে। এটি একটি প্রধান শিল্প ইনপুট এবং তত্ত্বাবধানের একটি ব্যবহারিক বিন্দু। এটি বুদ্ধিমত্তার একটি সার্বজনীন একক নয়, নিরাপদ আচরণের নিশ্চয়তা নয়, বা এজিআই-এর দিকে একটি কাউন্টডাউন নয়।