Anthropic imechapisha utafiti unaoonyesha kuwa mifumo ya kiotomatiki ya AI inaweza kurekebisha kwa kutegemewa hitilafu za mpangilio wa modeli, matokeo ambayo yanaweza kurekebisha jinsi usalama unavyofanya kazi katikati mwa tasnia ya AI. Karatasi hiyo, iliyopewa jina la "Watafiti wa Kiotomatiki Wanaweza Kupunguza Kushindwa kwa Mipangilio kwa Uaminifu," ilitolewa Ijumaa na kuelezewa kwa kina na TechCrunch.
Utafiti unatoka kwenye mpango wa wenzake wa Anthropic na uliongozwa na Chen Yueh-Han. Dai lake kuu linashangaza: wakati mifumo ya utafiti otomatiki ya kampuni ilipoelekezwa kwenye alama kumi za kupimia tabia mahususi zisizo sahihi, iliboresha utendakazi kwa kila moja - bila kudhalilisha uwezo wa jumla wa modeli. Kwa uga ambao umetatizika kuweka kazi ya usalama sambamba na kipimo cha mfano, hayo ni matokeo mashuhuri. For more context on this story, see our ongoing AI news.
Hadithi ilitua wakati wa shughuli nyingi kwa chanjo ya usalama ya AI. Inafuatia majira ya kiangazi ambapo tabia mbaya ya mawakala imetawala vichwa vya habari, kutoka kwa ripoti ya ndani ya OpenAI kuhusu mawakala wa udukuzi hadi kutoa wito wa uchunguzi huru wa ukiukaji wa Hugging Face. Karatasi mpya ya Anthropic inashughulikia tatizo kutoka upande tofauti: badala ya kuuliza jinsi mawakala wanavyofanya vibaya, inauliza kama mawakala wengine wanaweza kuaminiwa kuzirekebisha.
Kile Karatasi Inaripoti
Mfumo ulioelezewa kwenye karatasi unaitwa Mtafiti wa Upatanishi wa Kiotomatiki, au AAR. Badala ya kuchukua nafasi ya mchakato wa utafiti, AAR inaiga mengi yake: kila mfumo otomatiki hutafuta fasihi inayopatikana, inapendekeza mbinu, na kufunza kielelezo kwa kutumia njia hiyo kwa takriban dakika 30. Mchakato huo unarudiwa katika marudio kadhaa.
Utaratibu wa uteuzi ni rahisi. Njia zinazosonga benchmark zimehifadhiwa; njia ambazo hazijatupwa. Kitanzi hicho huruhusu mfumo kufanya kazi haraka na kwa kiwango ambacho hakuna timu ya binadamu ingeweza kulinganisha, kupima maelekezo mengi ya utafiti sambamba na kuweka kile kinachofanya kazi pekee.
Kulingana na karatasi, matokeo yalikuwa sawa katika bodi. Kwenye vigezo vyote kumi vinavyojumuisha tabia mahususi zilizopotoshwa, mifumo ya kiotomatiki ilitoa maboresho yanayoweza kupimika bila kuathiri utendakazi wa jumla wa muundo - ubadilishanaji wa kawaida unaofanya upangaji kufanya kazi kuwa ngumu.
"Kwa ujumla, matokeo haya yanatoa ushahidi wa mapema kwamba upatanishi wa kiotomatiki baada ya mafunzo unaweza kuwa wa vitendo kwa muda mfupi," gazeti hilo linasema.
Kuwapiga Wanadamu, kwa 1/37th Gharama
Vifungu vilivyonukuliwa zaidi kwenye karatasi ni vile ambavyo inalinganisha AAR moja kwa moja na wenzao wa kibinadamu. Anthropic haikuzuia kulinganisha.
"Njia bora ya AAR inashinda kile ambacho wanadamu wenye uzoefu wanapendekeza, kwa wastani ndani ya masaa sita," karatasi hiyo inasoma. Inaongeza, kwa uhakika, kwamba "maelekezo ya utafiti unaoongozwa na binadamu hayaleti utendaji wenye nguvu."
Uchumi ni butu vile vile. "AAR inagharimu takriban $4 kwa saa katika uelekezaji wa API dhidi ya $150 kwa saa tunayolipa watafiti wetu wa kibinadamu," waandishi wanaandika. Hiyo ni tofauti ya gharama ya takriban mara 40, na inaeleza kwa nini maabara huchukua utafiti wa kiotomatiki kwa uzito zaidi ya udadisi.
Kwa nini Pengo la Gharama Ni Muhimu
Utafiti wa upatanishi ni ghali kwa njia ambayo ni rahisi kupuuza. Kila uingiliaji kati wa mgombea unapaswa kutekelezwa, kufunzwa, na kutathminiwa kulingana na vigezo, na watahiniwa wengi hufeli. Ikiwa mfumo unaweza kuendesha kitanzi hicho cha utafutaji mfululizo kwa bei ya simu za API, gharama ya chini ya kujaribu wazo moja zaidi inakaribia sifuri. Kizuizi hubadilika kutoka idadi ya watu wengi hadi kukokotoa.
Mapungufu ya Anthropic Yenyewe Yameripotiwa
Karatasi ni wazi juu ya kile ambacho matokeo hayataanzisha. Mfumo wa otomatiki hufanya kazi tu kadiri vigezo vinavyoakisi malengo ya upatanishi ambayo ni muhimu - na kujenga na kudumisha viwango vinavyonasa tabia mbaya ya ulimwengu inasalia kuwa tatizo wazi katika nyanja hiyo.
Pia kuna utegemezi ambao ni rahisi kukosa: watafiti wa kiotomatiki huchota kwenye fasihi iliyopo ya mbinu. Kudumisha na kupanua fasihi hiyo yenyewe ni kazi muhimu, na mfumo ambao unachanganya tu mbinu zinazojulikana unaweza kufikia kiwango ambacho ubunifu wa mwanadamu haungefanya.
Tahadhari hizo ni muhimu kwa sababu umuhimu wa muda mrefu wa utafiti hutegemea. Iwapo viwango vinapima vitu visivyofaa, AAR inaweza kuboresha njia yake hadi kufikia idadi kubwa huku hatari za msingi zikisalia bila kuguswa. Uundaji wa Anthropic - "ushahidi wa mapema," sio suluhisho - unaonyesha kutokuwa na uhakika.
Hatua ya Kuelekea Uboreshaji wa Kujirudia
Karatasi hiyo pia inalisha mjadala mkubwa zaidi juu ya uboreshaji wa kujirudia, wazo kwamba mifumo ya AI inaweza hatimaye kuboresha michakato ya mafunzo inayoizalisha. Kufunza miundo ya AI na miundo mingine ya AI imekuwa lengo maarufu kwa maabara za mipakani, na matokeo ya Anthropic ni mtazamo wa mapema, thabiti wa jinsi inavyoonekana katika kikoa finyu.
Mantiki ni moja kwa moja. Iwapo miundo inaweza kuboresha mafunzo yao ya upatanishi kwa uhakika, mitambo hiyo hiyo inaweza kuelekezwa kwa mazoea ya mafunzo kwa upana zaidi - kazi ya uwezo ikijumuishwa. TechCrunch inabainisha maana kwamba watafiti wa AI ya binadamu wanaweza hatimaye kuwa chini ya mchakato, uwezekano karatasi yenyewe inashiriki badala ya kuepuka.
Nini cha Kutazama Kinachofuata
Maswali matatu yataamua ikiwa matokeo haya ni ya jumla. Kwanza, kama mbinu hiyo inashikilia nje ya vigezo kumi vya Anthropic vilivyojaribiwa, kwenye hali za kutofaulu ambazo ni duni na zisizofafanuliwa vyema. Pili, kama tatizo la urekebishaji-kigezo linaweza kutatuliwa haraka vya kutosha ili kuweka utafiti wa kiotomatiki kuwa waaminifu. Tatu, ikiwa maabara zingine zitachapisha matokeo yanayolingana, ambayo yanaweza kugeuza karatasi moja kuwa mwelekeo wa tasnia.
Kwa sasa, ugunduzi ni finyu lakini ni wa kweli: kwenye kazi maalum za upatanishi zilizojaribiwa na Anthropic, watafiti otomatiki walifanya vizuri zaidi kuliko wanadamu wenye uzoefu, haraka na kwa bei nafuu zaidi. Upande wa usalama wa tasnia ya AI inaweza kuwa mahali pa kwanza ambapo watafiti wa AI - sio wanadamu - hufanya kazi nyingi.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
