Sheria ya uongezaji kiwango ni uhusiano wa kimajaribio
Katika ujifunzaji wa mashine, sheria ya uongezaji kiwango inaeleza jinsi kiasi kilichopimwa kinavyobadilika kadri kigezo fulani kinavyoongezeka. Kwa mifano mikubwa ya lugha, watafiti waligundua kwamba upotevu wa mafunzo (training loss) mara nyingi huboreka kwa njia laini na inayotabirika kadri ukubwa wa mfano, data ya mafunzo, na ukokotoo vinavyoongezeka. Kazi ya OpenAI ya 2020 iliripoti uhusiano wa sheria ya nguvu (power-law) katika wigo uliojaribiwa (Kaplan et al.). Utafiti wa baadaye wa DeepMind wa «Chinchilla» ulionyesha kwamba, chini ya bajeti thabiti ya kikokotoo, mifano mingi ilikuwa imefunzwa kwa data kidogo mno na kwamba vigezo (parameters) na alama za mafunzo (training tokens) zinapaswa kuongezwa kwa uwiano zaidi (Hoffmann et al.).
Matokeo haya yalikuwa muhimu kwa sababu yalifanya mafunzo ya gharama kubwa kuwa yanayotabirika zaidi. Maabara ingeweza kuendesha majaribio madogo, kukadiria jinsi upotevu ungebadilika katika kiwango kikubwa zaidi, na kugawa bajeti kati ya data, vigezo, na kikokotoo. Lakini sheria hiyo inaeleza vipimo ndani ya hali iliyozingatiwa. Sio dhamana ya kifizikia kwamba kila uwezo utaboreka bila kikomo au kwamba vichakataji vya picha (GPUs) vya kutosha vinazalisha AGI kiotomatiki.
Kikokotoo ni kiungo kimoja tu
«Kikokotoo» kwa kawaida humaanisha idadi ya shughuli za kihesabu zinazotumika katika mafunzo au utoaji, lakini hata ufupisho huo unaficha tofauti muhimu. Michakato miwili ya mafunzo yenye shughuli zinazofanana kwa jina zinaweza kuzalisha mifumo tofauti kutokana na matumizi ya chip, usahihi wa kihesabu, ubora wa data, muundo, uboreshaji, na programu. Maboresho ya kialgorithimu yanaweza kupata utendaji bora kutoka kwa vifaa vilevile. Urekebishaji (fine-tuning), urejeshaji (retrieval), vifaa, kumbukumbu, na muundo wa wakala unaweza kubadilisha kwa kiasi kikubwa tabia ya utumiaji baada ya mafunzo ya awali.
Data ni muhimu katika wingi na muundo wake. Mifano iliyorudiwarudiwa, yenye ubora duni, au iliyochafuliwa si sawa na taarifa zilizochaguliwa kwa uangalifu. Data ya kutengenezwa (synthetic) inaweza kupanua au kulenga mkusanyiko wa data, lakini makosa yanaweza kukuzwa iwapo uzalishaji na uchujaji ni duni. Haki za data, faragha, ufikiaji wa lugha, na uwakilishi pia huathiri kile mfano unachojifunza.
Ukokotoo wa wakati wa hitimisho unaongeza kipimo kingine. Baadhi ya mifumo hutumia shughuli nyingi zaidi kutengeneza na kukagua majibu ya kati kwa ajili ya swali gumu. Hili linaweza kuboresha utendaji bila kubadilisha mfano uliofunzwa awali, lakini linaongeza gharama na ucheleweshaji na halihakikishi usahihi. Mjadala kamili wa uongezaji kiwango sasa unahitaji angalau kikokotoo cha mafunzo, kikokotoo cha hitimisho, data, kialgorithimu, na mfumo unaouzunguka.
Mikondo ya upotevu si mikondo ya uwezo
Upotevu wa mafunzo hupima hitilafu ya utabiri kwa wastani katika seti kubwa za data. Kupungua kwa upole kwa upotevu kunaweza kuambatana na mabadiliko yasiyo sawia katika kazi zinazomkabili binadamu. Kipimo kinaweza kuonyesha kizingiti kwa sababu uboreshaji uliofichika hatimaye unavuka alama yake ya kufaulu, kwa sababu mfano unajifunza ujuzi kadhaa wa lazima, au kwa sababu upimaji unabadilisha maendeleo ya hatua kwa hatua kuwa matokeo ya ndiyo-au-hapana. Uwezo mwingine unaweza kuboreka kwa upole, kubaki tuli, au kudorora baada ya urekebishaji wa usalama au mabadiliko ya mfumo.
Tofauti hii inazuia makosa mawili yanayopingana. La kwanza ni kudhania kwamba mkondo unaotabirika wa upotevu unafanya kila tabia ya baadaye kutabirika. Sivyo. La pili ni kudai kwamba uboreshaji wote wa uwezo ni mifarakano ya kushangaza isiyoelezeka. Uboreshaji mwingi wa vipimo unaoonekana wa ghafla huwa laini zaidi wakati watafiti wanapotumia vipimo endelevu au majaribio yenye taarifa zaidi (Schaeffer, Miranda na Koyejo, 2023). Kutokuwa na uhakika na utabirikaji wa kiasi vinaweza kuwa vyote kweli.
Uongezaji kiwango pia unaingiliana na muundo wa tathmini. Vipimo vya hadhara vinaweza kujaa au kuvuja kwenye data ya mafunzo. Mfano unaweza kuboreka katika kufanya mtihani bila uboreshaji sawia wa uaminifu wa ulimwengu halisi. Kinyume chake, vipimo vilivyopo vinaweza kukosa uwezo muhimu. Tathmini nyingi, kazi za faragha, ukaguzi wa wataalamu wa binadamu, na ushahidi wa utumiaji vinahitajika kufasiri kile kilichonunuliwa na kupungua kwa upotevu.
Mahali mwenendo unavyoweza kupinda
Uwezo wa kimwili si usio na kikomo. Mafunzo na utumishi wa mstari wa mbele hutegemea chip za hali ya juu, kumbukumbu yenye upitishaji mkubwa (bandwidth), mitandao, umeme, upoezaji, ardhi, ujenzi, na minyororo ya usambazaji. Shirika la Kimataifa la Nishati linatarajia mahitaji ya umeme wa vituo vya data kupanda kwa kiasi kikubwa hadi 2030, huku likisisitiza kutokuwa na uhakika na mkusanyiko mkubwa wa kijiografia (IEA, Energy and AI). Ucheleweshaji wa gridi za umeme za kienyeji unaweza kuwa muhimu hata wakati nishati ya kimataifa inatosha.
Data ya ubora wa juu inayozalishwa na binadamu pia ni finyu, ijapokuwa athari ya kizuizi hicho inategemea vyanzo vipya vya data, mafunzo ya kimaeneo (multimodal), data ya kutengenezwa, na matumizi bora zaidi ya mkusanyiko uliopo. Vikwazo vya kiuchumi vinaweza kufika kabla ya vile vya kiufundi: mfano mkubwa zaidi lazima uzalishe thamani ya kutosha kuhalalisha gharama za mafunzo, utumishi, na fursa zilizopotea. Ucheleweshaji na upitishaji wa kumbukumbu vinaweza kuzuia bidhaa hata wakati shughuli za jumla zinapatikana.
Mapato yanayopungua yamejengwa ndani ya uongezaji kiwango. Sheria ya nguvu inaweza kuendelea huku kila uboreshaji wa ziada ukihitaji matumizi makubwa zaidi. Hilo halimaanishi kwamba maendeleo yanasimama, lakini linabadilisha uchumi wake. Muundo mpya au kialgorithimu kipya kinaweza kuhamisha mkondo, huku usalama, uaminifu, au umbo la kimwili vikihitaji maendeleo ambayo hayanaswi na upotevu wa utabiri wa ishara-inayofuata (next-token prediction). Hakuna mtu anayeweza kubaini kutokana na sheria za sasa za uongezaji kiwango pekee ni wapi mafanikio hayo yatatokea.
Kwa nini kikokotoo kinabaki chombo cha usimamizi
Licha ya tahadhari hizi, kikokotoo cha hali ya juu ni cha kimwili na kilichojikita kwa njia ya kipekee. Chip za hali ya juu zinatengenezwa kupitia mnyororo finyu wa usambazaji wa kimataifa, na makundi makubwa zaidi ya mafunzo yanahitaji mtaji, umeme, na mitandao inayoonekana wazi. Kwa hiyo serikali hutumia udhibiti wa usafirishaji wa chip, mahitaji ya uripoti, na kanuni za vituo vya data kama viwakilishi vya uwezo wa mstari wa mbele. Kikokotoo kinaweza kuwa rahisi kufuatilia kuliko kialgorithimu au programu iliyonakiliwa.
Kiwakilishi hicho si kamili. Vizingiti vinaweza kupitwa na wakati kadri kialgorithimu kinavyozidi kuwa na ufanisi. Mafunzo na hitimisho vilivyosambazwa vinatatiza uhasibu. Sheria ya kikokotoo inaweza kulemea utafiti halali, kuimarisha zaidi taasisi kubwa zilizopo, au kuchochea ukwepaji iwapo imeandikwa vibaya. Kikokotoo cha mafunzo pia kinakosa mifumo yenye uwezo iliyojengwa kupitia urekebishaji, matumizi ya vifaa, au wito mingi ya hitimisho. Sera bora inapaswa kusasisha vizingiti, kuzingatia ufanisi, kulinda faragha, na kuelekeza wajibu kwenye hatari badala ya kuchukulia shughuli kama madhara yenyewe.
Usimamizi wa kikokotoo una nguvu zaidi ukioanishwa na tathmini ya uwezo. Kikokotoo kinaweza kutambua michakato inayostahili ukaguzi; tathmini zinaweza kujaribu kama mfumo unaotokana unavuka kizingiti cha uwezo hatari; ufuatiliaji wa utumiaji unaweza kufichua matumizi mabaya na kushindwa. Hakuna kipimo kimoja kinachopaswa kubeba mzigo mzima wa udhibiti.
Uongezaji kiwango hauamui ratiba za AGI
Uwekezaji wa haraka ni ushahidi kwamba watengenezaji wanatarajia mapato kutoka kwa mifumo mikubwa zaidi na yenye ufanisi zaidi. Uongezaji kiwango wa kihistoria ni ushahidi kwamba rasilimali za ziada mara nyingi zimeboresha utendaji uliopimwa. Hakuna kati ya hayo kinachothibitisha tarehe ya AGI. Utabiri lazima uweke muundo wa vifaa, nishati, data, kialgorithimu, hitimisho, uaminifu, na ufafanuzi wa AGI wenyewe.
Madai kwamba «uongezaji kiwango umesimama» yanahitaji kubainisha kipimo na mfumo upi. Madai kwamba «uongezaji kiwango ndicho unachohitaji tu» yanahitaji kuonyesha kwamba mapengo yaliyobaki yanaweza kupunguzwa kwa mwelekeo huohuo. Kati ya kauli hizo mbili kuna msimamo unaotetewa: sheria za uongezaji kiwango ni miongoni mwa mifumo ya kimajaribio yenye manufaa zaidi katika AI ya kisasa, lakini zinatabiri wastani ndani ya hali fulani vizuri zaidi kuliko zinavyotabiri matokeo ya kijamii ya kimaudhui.
Wasomaji wanapaswa kuuliza nini
Wakati mfano mpya unahusishwa na uongezaji kiwango, uliza ni rasilimali gani iliyoongezeka, kwa kiasi gani, na dhidi ya msingi upi. Je, ulinganisho ulikuwa bora kwa kikokotoo (compute-optimal)? Je, data au kialgorithimu vilibadilika? Je, faida iliyoripotiwa ni ya upotevu wa mafunzo, kipimo, kazi ya mtaalamu, au matokeo ya utumiaji? Uaminifu na gharama vilionekanaje? Je, matokeo yanaweza kurudiwa kwa uhuru?
Maswali hayo yanahifadhi somo halisi la sheria za uongezaji kiwango bila kuligeuza kuwa hadithi. Kikokotoo zaidi kimewezesha mara kwa mara mifano bora. Ni kiungo kikuu cha kiviwanda na sehemu ya vitendo ya usimamizi. Sio kipimo cha jumla cha akili, dhamana ya tabia salama, au hesabu ya kurudi nyuma kuelekea AGI.