Forskare vid Tel Aviv University och Stanford University rapporterar att system för artificiell intelligens kan utveckla äkta inlärningsförmåga genom utbildningsmaterial som helt och hållet genereras av andra AI-modeller – utan mänskligt skriven text, fotografier eller någon annan extern data inblandad.
Resultaten, publicerade på den vetenskapliga preprint-plattformen arXiv och beskrivna av The Media Line, tyder på att en modell kan bygga sina kärnförutsägande förmågor innan den någonsin stöter på material från den verkliga världen - ett resultat som kan förändra hur framtida AI-system tränas. För mer omfattande forskningsbevakning, se AI Buzz Wires hemsida.
Hur självträningsslingan fungerar
Teamet testade konceptet med ett träningssystem byggt av två AI-modeller. En fick i uppdrag att generera sekvenser av symboler; den andra försökte förutsäga vilken symbol som skulle dyka upp härnäst. Ingen av modellerna konsulterade skriftliga dokument, fotografier eller någon annan extern källa – varje övning i läroplanen producerades i själva systemet.
Allt eftersom övningarna fortskred blev generatorn allt mer sofistikerad på att skapa utmaningar som förbättrade sin partners prestation, medan prediktorn utvecklade starkare förmågor genom att upprepade gånger försöka lösa dessa problem. Tillvägagångssättet tillåter effektivt ett AI-system att skärpa hur det lär sig genom en kontinuerlig slinga av generering och lösning av övningar med ökande svårighetsgrad.
Färdigheter utan kunskap
För att avgöra om dessa färdigheter kunde tillämpas utanför den konstgjorda träningsmiljön, utvärderade forskarna den resulterande modellen mot flera typer av verklig information: skriftspråk, bilder, ljud, musik, datorkod och DNA-sekvenser.
Experimenten visade att den prediktiva noggrannheten fortsatte att öka när ytterligare beräkningsresurser tilldelades utbildning - bevis på att metoden skalas och kan bli mer effektiv när beräkningskapaciteten utökas.
Resultaten drar också en viktig linje. Modellerna utvecklade förmågan att känna igen mönster, men de fick inte självständigt faktainformation om verkliga ämnen; Den typen av kunskap, fann forskarna, kräver fortfarande exponering för faktiska data. Med andra ord kan egengenererad träning lära en modell hur man lär sig, men inte vad världen innehåller.
Forskarna tror att tekniken ändå skulle kunna göra framtida AI-system mer effektiva, genom att stärka deras underliggande inlärningsförmåga innan de börjar bearbeta verklig information – vilket potentiellt kan minska hur mycket mänskligt genererat material som gränsträning kräver längst fram i pipelinen.
Varför det är viktigt att lära sig att lära sig
Det finns en användbar analogi från mänsklig utbildning: en elev som har övat på att lösa okända problem hämtar i allmänhet mer ur en fast lärobok än en som bara har memorerat den. Vad Tel Aviv–Stanford-upplägget visar, på denna läsning, är en maskinversion av den separationen - en fas där en modell förvärvar allmän förutsägelseskicklighet från tillverkade övningar, innan någon riktig korpus kommer in i bilden.
Fyndet är också en påminnelse om att förträning och kunskap inte är samma sak, en distinktion som har blivit viktigare när labb blandar syntetisk data i sina pipelines. Om en modell kan komma till realdatastadiet och redan veta hur man klämmer ut signalen ur sekvenser, kan samma korpus troligen fortsätta - även om det förblir en hypotes tills framtida arbete testar den.
Som med alla förtryck, väntar resultatet på replikering och granskning från det bredare forskarsamhället, och utvärderingen omfattade prediktiva uppgifter snarare än den öppna generationen som definierar kommersiella chatbots.
En datahungrig industri noterar
Resultatet landar mitt i en aktiv debatt om träningsdata. Den tillgängliga poolen av högkvalitativ mänsklig text har bryts hårt, och licensavtal, syntetiska data och metoder för självspelning har alla tagits fram som sätt att fortsätta att förbättra modeller när utbudet av den öppna webben är tunn. En demonstration av att användbara inlärningsförmågor kan uppstå från rent maskingenererade övningar ger en konkret datapunkt till det argumentet.
Forskarnas egen varning markerar gränsen för påståendet: världskunskap kräver fortfarande riktiga data. Självträning, på dessa bevis, är ett sätt att göra modeller bättre på att lära sig – inte ett sätt att ersätta den grundsanning som kommer från den faktiska världen.
Israel lutar sig åt AI
Tillkännagivandet kommer när Israel arbetar för att stärka sin position inom artificiell intelligens. Den 3 november sammankallade president Isaac Herzog den inledande sessionen av forumet "Beyond Intelligence", som inrättats tillsammans med det nationella AI-direktoratet i premiärministerns kansli och Mosaic Institute for AI Policy för att undersöka AI:s inverkan på sysselsättning, ekonomisk säkerhet och samhälle.
"Israel måste ta sin plats i framkanten av artificiell intelligens", uppmanade Herzog vid sessionen, enligt The Media Line. "Det här tåget kommer inte att vänta på oss, och hela världen tittar vår väg."
För närvarande ligger Tel Aviv–Stanford-resultatet rakt av i forskningskolumnen: ett förtryck som väntar på fältets granskning, som beskriver en träningsprincip snarare än en produkt. Men om egengenererade läroplaner på ett meningsfullt sätt kan ersätta en del av datapipelinen, kan branschens mest omtvistade indata – mänskligt skapade data – ha något mindre betydelse än dess knappaste: beräkning.
---
Stay ahead of AIFå de senaste AI-nyheterna, analyserna och genombrotten – allt på ett ställe.
Läs mer AI-nyheter →
