Cercetătorii de la Universitatea Tel Aviv și de la Universitatea Stanford raportează că sistemele de inteligență artificială pot dezvolta abilități reale de învățare prin intermediul materialelor de instruire generate în întregime de alte modele AI - fără text scris de om, fotografii sau alte date externe implicate.
Descoperirile, publicate pe platforma științifică de pretipărire arXiv și descrise de The Media Line, sugerează că un model își poate construi abilitățile de predicție de bază înainte de a întâlni vreodată material din lumea reală - un rezultat care ar putea schimba modul în care viitoarele sisteme AI sunt antrenate. Pentru o acoperire mai detaliată a cercetării, consultați pagina de pornire a AI Buzz Wire.
Cum funcționează bucla de autoformare
Echipa a testat conceptul cu un sistem de antrenament construit din două modele AI. Unul a fost însărcinat cu generarea de secvențe de simboluri; celălalt a încercat să prezică ce simbol va apărea în continuare. Nici un model nu a consultat documente scrise, fotografii sau orice altă sursă externă - fiecare exercițiu din curriculum a fost produs în interiorul sistemului însuși.
Pe măsură ce exercițiile au progresat, generatorul a devenit din ce în ce mai sofisticat în a crea provocări care au îmbunătățit performanța partenerului său, în timp ce predictorul a dezvoltat abilități mai puternice încercând în mod repetat să rezolve aceste probleme. Abordarea permite în mod eficient unui sistem AI să clarifice modul în care învață printr-o buclă continuă de generare și rezolvare a exercițiilor de dificultate în creștere.
Abilități fără cunoștințe
Pentru a determina dacă aceste abilități ar putea fi aplicate dincolo de mediul de antrenament artificial, cercetătorii au evaluat modelul rezultat în raport cu mai multe tipuri de informații reale: limbaj scris, imagini, audio, muzică, cod de computer și secvențe ADN.
Experimentele au demonstrat că acuratețea predictivă a continuat să crească pe măsură ce resursele de calcul suplimentare au fost alocate antrenamentului - dovadă că metoda se extinde și ar putea deveni mai eficientă pe măsură ce capacitatea de calcul se extinde.
Rezultatele trasează, de asemenea, o linie importantă. Modelele au dezvoltat capacitatea de a recunoaște tipare, dar nu au obținut în mod independent informații faptice despre subiecții din lumea reală; acest tip de cunoștințe, au descoperit cercetătorii, necesită încă expunerea la date reale. Cu alte cuvinte, antrenamentul autogenerat poate învăța un model cum să învețe, dar nu ceea ce conține lumea.
Cercetătorii cred că tehnica ar putea, totuși, să facă viitoarele sisteme de inteligență artificială mai eficiente, prin întărirea abilităților de învățare care stau la baza lor înainte de a începe procesarea informațiilor din lumea reală - reducând potențial cât de mult necesită cursuri de antrenament de frontieră cu materiale generate de oameni în fața conductei.
De ce contează „A învăța să înveți”.
Există o analogie utilă din educația umană: un elev care a exersat rezolvarea problemelor necunoscute extrage în general mai mult dintr-un manual fix decât unul care doar l-a memorat. Ceea ce demonstrează configurația Tel Aviv-Stanford, în această lectură, este o versiune de mașină a acelei separări - o fază în care un model dobândește abilități de predicție generală din exerciții fabricate, înainte ca orice corpus real să intre în imagine.
Descoperirea este, de asemenea, o reamintire a faptului că pre-formarea și cunoștințele nu sunt același lucru, o distincție care a devenit mai importantă pe măsură ce laboratoarele combină date sintetice în conductele lor. Dacă un model poate ajunge la stadiul de date reale știind deja cum să stoarce semnalul din secvențe, același corpus ar putea duce în mod plauzibil mai departe - deși aceasta rămâne o ipoteză până când lucrările viitoare o vor testa.
Ca și în cazul oricărui preprint, rezultatul așteaptă replicare și examinare din partea comunității de cercetare mai largi, iar evaluarea a acoperit sarcini predictive mai degrabă decât generația deschisă care definește chatbot-urile comerciale.
O industrie aglomerată de date ia notă
Rezultatul aterizează în mijlocul unei dezbateri active despre datele de antrenament. Bazinul accesibil de text uman de înaltă calitate a fost exploatat în mare măsură, iar ofertele de licențiere, datele sintetice și metodele de auto-play au fost toate prezentate ca modalități de a îmbunătăți în continuare modelele atunci când oferta web deschisă se epuizează. O demonstrație că abilitățile utile de învățare pot apărea din exerciții pur generate de mașini adaugă un punct de date concret la acest argument.
Avertismentul cercetătorilor marchează limita afirmației: cunoașterea lumii necesită încă date reale. Auto-instruirea, pe baza acestor dovezi, este o modalitate de a face modele mai bune la învățare - nu o modalitate de a înlocui adevărul de bază care vine din lumea reală.
Israel se înclină spre AI
Anunțul vine în timp ce Israelul lucrează pentru a-și consolida poziția în inteligența artificială. Pe 3 noiembrie, președintele Isaac Herzog a convocat sesiunea inaugurală a forumului „Dincolo de informații”, înființat împreună cu Direcția Națională de Inteligență Artificială din Biroul Primului Ministru și Institutul Mozaic pentru Politica Inteligenției Artificiale pentru a examina impactul AI asupra ocupării forței de muncă, securității economice și societății.
„Israelul trebuie să-și ocupe locul în fruntea inteligenței artificiale”, a îndemnat Herzog la sesiune, potrivit The Media Line. „Acest tren nu ne va aștepta, iar lumea întreagă se uită în calea noastră”.
Deocamdată, rezultatul Tel Aviv-Stanford se află în coloana cercetării: o preprint care așteaptă examinarea domeniului, care descrie un principiu de formare mai degrabă decât un produs. Dar dacă programele auto-generate pot înlocui în mod semnificativ o parte din conducta de date, cea mai contestată intrare a industriei - datele create de oameni - poate conta oarecum mai puțin decât cea mai mică: calculul.
---
Rămâneți înaintea AIObțineți cele mai recente știri, analize și descoperiri despre AI - toate într-un singur loc.
Citiți mai multe știri AI →
