Google DeepMind ilitangaza mnamo Agosti 27 kile inachokiita tathmini ya kwanza duniani ya upofu wa aina mbili za AI ya umiliki, ya daraja la mpakani - usanidi wa kriptografia uliobuniwa kuwaruhusu wataalamu wa nje kupima miundo ya Google bila upande wowote kuona siri za mwingine.
Majaribio, yaliyoelezwa katika chapisho la blogu ya DeepMind na William Isaac, Sol Messing na Kristian Lum, anaendesha modeli ya Gemini Flash Lite kupitia alama za siri ndani ya mazingira salama ya siri. Google DeepMind inashirikiana na Taasisi ya Usalama ya AI ya Singapore, OpenMined, AVERI na MLCommons kuhusu juhudi hizo, na imechapisha ripoti ya kiufundi inayoelezea mbinu.
Tangazo linashughulikia mojawapo ya udhaifu unaoendelea zaidi katika tathmini ya AI: uchafuzi wa alama. Kwa wasomaji wanaofuatilia habari za utafiti wa AI, inawakilisha mojawapo ya majaribio madhubuti zaidi ya kufanya majaribio ya modeli ya wahusika wengine kuwa safi kwa uthibitisho.
Tatizo la Uchafuzi, Limefafanuliwa
DeepMind inafungua tangazo lake kwa mlinganisho wa darasa. Ikiwa mwanafunzi ataona maswali ya mtihani kwa bahati mbaya, alama kamili haimaanishi chochote. Mantiki hiyo hiyo inatumika kwa miundo ya mipaka: ikiwa muundo tayari umeonyeshwa maswali katika kipimo - kupitia data ya mafunzo, seti za eval zilizovuja au uboreshaji wa awali - matokeo yanaweza kuzidi uwezo halisi.
Hii sio wasiwasi wa dhahania. Uchafuzi wa ulinganifu umetawala nyanja hii kwa miaka, huku watafiti wakionyesha mara kwa mara kuwa seti maarufu za majaribio huvuja katika shirika la mafunzo ya kiwango cha wavuti, na kwamba miundo inaweza kupangwa kimya kimya ili kufanya vyema kwenye tathmini zinazojulikana. Serikali na biashara zinapotumia alama za viwango kufanya maamuzi ya ununuzi na sera, idadi iliyopanda hubeba matokeo halisi.
Mitindo inapokua na uwezo zaidi, DeepMind inahoji, uwajibikaji ni wa juu zaidi kwa kategoria nyeti za tathmini - upimaji wa usalama wa mtandao na tathmini ya serikali kati yao - ambapo alama iliyochafuliwa sio tu ya kupotosha lakini inaweza kuwa hatari.
Biashara ya Zamani: Maelekezo Yako au Uzito Wetu
Kihistoria, tathmini za hali ya juu za nje zililazimisha chaguo lisilofaa. Aidha mtathmini alikabidhi vidokezo vyake vya majaribio kwa mtoa huduma wa mfano - akihatarisha kwamba mtoa huduma angeona maswali ya mtihani mapema - au mtoa huduma akabidhi vipimo vya kielelezo kwa mtathmini - kuhatarisha upotezaji wa mali yake ya kiakili yenye thamani zaidi.
Itifaki za ukataji miti sifuri na ulinzi mkali wa kimkataba kwa muda mrefu umeweka siri vidokezo vya majaribio ya nje, DeepMind inaandika, lakini hizo ni ahadi zinazotekelezwa na sera badala ya hisabati. Tathmini za upofu maradufu hubadilisha uaminifu huo na uthibitisho wa kriptografia.
Jinsi Sanduku la Cryptographic Hufanya Kazi
Jaribio hutumia Nafasi ya Siri, sehemu ya jalada la Siri la Kompyuta la Google Cloud, kuunda kile DeepMind inakielezea kama "kisanduku" cha kriptografia. Ndani yake, nusu zote mbili za tathmini - alama ya siri na muundo wa wamiliki - hubakia faragha kwa wamiliki wao, na mazingira huthibitisha ukweli huo kwa njia fiche.
Matokeo yake ni upofu maradufu: mtathmini wa nje hawezi kuona uzani wa muundo wa Gemini, na Google haiwezi kuona madokezo ya mtathmini. Hakuna upande unaopaswa kuamini ahadi za mwingine, kwa sababu usanifu yenyewe hufanya kuvuja kuwa haiwezekani kwa kanuni. Kimsingi, usanidi pia huzuia data ya tathmini kutumiwa baadaye ili kuboresha utendakazi wa muundo kabla ya majaribio ya siku zijazo - kufunga kitanzi ambacho uchafuzi hujirudia tena.
Kwa nini Ni Muhimu kwa Uangalizi wa AI
Umuhimu mpana huenda zaidi ya mfano mmoja wa Gemini. Mashirika yanayojitegemea - Taasisi za usalama za AI, maabara za kitaaluma, wasimamizi - wamejitahidi kwa miaka kutathmini kwa ukali mifano ya mipaka iliyofungwa, haswa kwa sababu watoa huduma hawawezi kukabidhi uzani na watathmini hawatakabidhi alama. Kila taasisi kuu ya usalama ya AI imekabiliana na matoleo ya tatizo hili wakati wa kusaini mikataba ya tathmini na maabara za mipakani.
Iwapo majaribio yatashikilia, inatoa kiolezo ambacho mamlaka ya data na haki miliki hunusurika kuwasiliana na uchunguzi huru. DeepMind inasema inatumai majaribio "ataanzisha mipaka mpya ya uangalizi wa mfano, kusaidia tasnia pana kujenga mifumo ya AI iliyo salama zaidi, inayotegemewa zaidi na inayoaminika sana."
Orodha ya washirika inajulikana yenyewe. Taasisi ya Usalama ya AI ya Singapore ni mojawapo ya mashirika amilifu ya kitaifa ya kutathmini; OpenMined huunda zana za kukokotoa za kuhifadhi faragha; MLCommons inasawazisha ulinganishaji wa tasnia. AVERI inakamilisha muungano unaohusisha serikali, wasomi na mashirika ya viwango vya tasnia - maeneo bunge ambayo yatahitaji kupitisha tathmini ya upofu ili iwe kawaida badala ya maandamano.
Mashindano ya Silaha Juu ya Uadilifu wa Tathmini
Tangazo hilo linatua huku kukiwa na uchunguzi unaoongezeka wa jinsi kampuni za AI zinavyojipanga. Maabara yanakabiliwa na shutuma zinazoongezeka za kuchagua alama za cherry zinazofaa, na bao za wanaoongoza zinazojitegemea zimekuwa na ushawishi haswa kwa sababu zinakaa nje ya udhibiti wa wauzaji. Tathmini ya upofu maradufu inapanua harakati za uhuru ndani ya miundombinu ya muuzaji mwenyewe - mabadiliko muhimu kwa kampuni ambazo kihistoria zimesisitiza kudhibiti kila undani wa jinsi miundo yao inavyojaribiwa.
Kwa sasa, majaribio inashughulikia modeli moja na seti ya alama za siri. Lakini ikiwa imethibitishwa kwa njia fiche, tathmini isiyo na uchafuzi inakuwa ya kawaida kitaalamu, inaweza kubadilisha kile ambacho biashara na wasimamizi wanatarajia kutoka kwa kila maabara ya mipakani - na kufanya "kuamini alama zetu" kuwa ngumu zaidi kuuza katika soko linalozidi kujengwa juu ya madai yanayoweza kuthibitishwa.
---
Kaa Mbele ya AIPata habari za hivi punde za AI, uchanganuzi na mafanikio - yote katika sehemu moja.
Soma habari zaidi za AI →
