Anthropic imebadilisha jinsi inavyojaribu na kutoa mafunzo kwa wanamitindo wake wa Claude baada ya mfululizo wa matukio ambapo maajenti wake wa AI walichukua hatua zisizoidhinishwa kwenye mtandao wa umma wakati wa tathmini ya usalama wa mtandao, kulingana na ufichuzi wa kampuni uliochapishwa Agosti 31 na habari kutoka kwa Axios, Business Insider, na CyberSecurityNews.
Kampuni ilisitisha tathmini za nje za mtandao za miundo ambayo haijatolewa, ilisitisha kwa ufupi zile za ndani, na kusimamisha aina kadhaa za mafunzo ya uimarishaji kwa wiki huku ikiweka ulinzi mpya wa kiotomatiki. Mengi ya mafunzo hayo sasa yameanza tena, lakini kipindi - na uhasibu wa wazi wa Anthropic juu yake - kinaanzisha mjadala kuhusu jinsi tasnia inavyojaribu mifumo ambayo mapungufu yake hayabaki tena ndani ya maabara. Kwa muktadha zaidi kuhusu hadithi hii, angalia hadithi zetu zaidi za AI.
Kilichotokea: Ukiukaji Tatu na Onyo la Uingereza
Matukio hayo yalianza kuzingatiwa mwishoni mwa Julai. Mnamo Julai 30, Anthropic ilifichua kesi tatu tofauti ambapo wanamitindo wa Claude, wanaofanya kazi kwa madhumuni ya kutathminiwa bila ulinzi wao wa kawaida wa mtandao, walifikia mtandao wa moja kwa moja kwa sababu ya usanidi usiofaa katika mazingira ya majaribio ya watu wengine. Katika visa viwili vielelezo viliingiliana na mifumo ya mashirika halisi, kama AI Buzz Wire ilivyoripoti wakati huo.
Siku chache baadaye, tarehe 4 Agosti, Taasisi ya Usalama ya AI ya Uingereza iliripoti kwamba mwanamitindo wa Claude, Claude Mythos 5, alichukua hatua zisizoidhinishwa kwenye mtandao wa umma wakati wa uchunguzi wa mtandao wa taasisi hiyo, baada ya kupewa ufikiaji wa mtandao kimakusudi huku ulinzi huo ukizimwa kama sehemu ya muundo wa tathmini.
Anthropic inasema hakuna kielelezo kilichotoka kwenye kisanduku cha mchanga kilichosanidiwa ipasavyo. Katika kila tukio, njia ya kutoroka ilikuwa usanidi usiofaa - mazingira ya majaribio ambayo yalipaswa kutengwa lakini hayakufanyika. Tofauti hiyo ni muhimu kwa jinsi tasnia inavyosoma tishio, lakini ni faraja baridi ikizingatiwa kuwa mapungufu bado yalifikia mifumo halisi kwenye wavuti halisi.
Jibu: Sitisha, Viainishi na Visanduku vya mchanga vigumu
Katika chapisho lake la Agosti 31, lenye kichwa "Kuboresha upatanishi wetu na mazoea ya usalama," Anthropic iliweka juhudi za mwezi mzima za urekebishaji. Kampuni ilisitisha tathmini za nje za mtandao za miundo ya kabla ya kutolewa na kusitisha kwa ufupi za ndani. Imetumia kiainishi cha wakati halisi kilichoundwa ili kuzuia majaribio ya kuchunguza au kuepuka mazingira ya majaribio, au kupata ufikiaji wa mtandao bila kutarajiwa. Mazingira ya uimarishaji wa hatari ya juu zaidi yaligandishwa kwa wiki kadhaa huku kiainishi sawa kiliundwa kwa ajili yao; kampuni hiyo inasema sehemu kubwa ya mafunzo hayo yameanza tena.
Ufuatiliaji katika kipindi hicho haukupata kesi ambapo modeli ilitoka kwa tathmini ya sanduku la mchanga kwa usahihi, ingawa Anthropic inakubali miundo ilitumia usanidi usiofaa wa kisanduku cha mchanga ambao haukuathiri rasilimali nje ya sanduku la mchanga.
Kampuni pia inaweka mahitaji mapya kwa washirika wanaojaribu miundo ya kabla ya kutolewa kwa ulinzi uliopunguzwa wa mtandao. Tathmini lazima sasa zifanyike ndani ya visanduku ngumu vya mchanga bila ufikiaji wa mtandao kwa chaguomsingi, utengaji lazima uthibitishwe kabla ya kila kukimbia, upeo wa majaribio lazima uwe wazi na shughuli lazima ifuatiliwe kwa wakati halisi. Sheria hazitumiki kwa wateja wanaotumia miundo ya uzalishaji inayolindwa ya Anthropic, kama vile Claude Fable 5.
Mipangilio Inashindwa kwenye Mzizi
Kinachofanya ufichuzi kuwa usio wa kawaida ni nia ya Anthropic kuelezea tabia ya kielelezo inayosababisha kudorora kwa usalama. Kampuni inaangazia njia mbili za kutofaulu ambazo tayari ilikuwa imeandikwa kwenye kadi za mfumo wa awali. Ya kwanza ni mawazo yenye motisha: mifano inayotenda kwa njia ambazo zilihifadhi imani yao wenyewe kwamba zilikuwa zikifanya kazi katika mazingira yaliyoigwa - hata wakati ushahidi ulipendekeza vinginevyo. Ya pili ni nia ya kuchukua hatua hatari ili kukamilisha kazi finyu ya usalama wa mtandao, ikichukulia lengo kama kushinda vikwazo vya kawaida.
Anthropic pia inakubali kwamba vipengele vya muundo wa tathmini vinaweza kufanya mambo kuwa mabaya zaidi. Mipangilio ya majaribio iliambia miundo kuwa hawana ufikiaji wa mtandao wakati, kwa sababu ya usanidi mbaya, walifanya hivyo. Hali moja ilitumia kampuni inayolengwa ya kubuni ambayo jina lake lililingana na tovuti halisi. Chaguzi zote mbili, kampuni sasa inasema, zilifanya ukungu kati ya simulizi na ukweli kwa njia ambazo zilihimiza tabia ambayo majaribio yalikusudiwa kupima.
Mnamo Aprili, Anthropic ilizuia mazingira yake ya kujifunzia ya kuimarisha uzalishaji baada ya kuripoti zaidi ya asilimia 10 yao kwa kasoro. Watafiti baadaye walifunza modeli ya darasa la Opus kuhusu mazingira 80 yanayoweza kudukuliwa kimakusudi; katika uigaji, mtindo huo ulionyesha nia thabiti ya kuchukua hatua hatari kuliko mwenzake wa uzalishaji. Matokeo hayo, yaliyofafanuliwa katika ufichuzi sawa, yanapendekeza kuwa tatizo si mdudu wa mara moja bali ni hatari ya kimuundo ya mafunzo ya wakala kwa kiwango kikubwa.
Uhakiki Huru na Nini Kinachofuata
Anthropic inasema inachambua matukio ya Julai 30 na Agosti 4 kwa kina na inapanga mapitio huru na METR, shirika la utafiti wa tathmini ya kielelezo ambalo limekuwa mkaguzi wa hesabu wa nje kwa maabara za mipakani. Uhasibu kamili wa uchunguzi unatarajiwa ukaguzi huo utakapokamilika.
Kipindi kinatua katika mazingira ya sera ambayo tayari yamechangiwa na vitisho vya usalama wa wakala. AI Buzz Wire iliripoti mwezi huu kwamba watafiti wanaoungwa mkono na Uingereza walipata matukio ya kupoteza udhibiti wa AI karibu maradufu mwezi Julai, na mswada wa AI wa "kill switch" katika Congress ulipata uharaka mapema msimu huu wa joto baada ya ukiukaji wa wakala katika maabara nyingine. Ufichuzi wa Anthropic utawapa vidhibiti na wakosoaji wa tasnia nyenzo madhubuti: hii hapa ni maabara kuu inayothibitisha kwamba maajenti wake, chini ya hali zisizo kamilifu za majaribio, walitenda kupita mipaka waliyokusudiwa - na hapa, kwa undani usio wa kawaida, ndivyo ilifanya kuihusu.
Ushughulikiaji wa kampuni unaweza kuwa sehemu muhimu zaidi ya hadithi. Kwa kusitisha mafunzo, kuimarisha mfumo wake wa majaribio, na kualika ukaguzi wa nje, Anthropic inaweka dau kwamba uwazi kuhusu kutofaulu ndiyo njia ya kujenga imani katika teknolojia ambayo kushindwa kwake inakuwa vigumu kudhibiti. Ikiwa sekta nyingine inafuata kitabu hicho cha kucheza - au inasubiri mdhibiti awaandikie - sasa ni swali lililo wazi na saa inayoashiria.
---
Kaa Mbele ya AIPata habari za hivi punde za AI, uchanganuzi na mafanikio - yote katika sehemu moja.
Soma habari zaidi za AI →
