Onderzoekers van de Universiteit van Tel Aviv en Stanford University melden dat kunstmatige intelligentiesystemen echte leervaardigheden kunnen ontwikkelen door middel van trainingsmateriaal dat volledig door andere AI-modellen is gegenereerd – zonder dat er door mensen geschreven tekst, foto’s of andere externe gegevens bij betrokken zijn.

De bevindingen, gepubliceerd op het wetenschappelijke preprint-platform arXiv en beschreven door The Media Line, suggereren dat een model zijn belangrijkste voorspellende capaciteiten kan opbouwen voordat het ooit materiaal uit de echte wereld tegenkomt – een resultaat dat de manier zou kunnen veranderen waarop toekomstige AI-systemen worden getraind. Voor meer informatie over baanbrekend onderzoek, zie de homepage van AI Buzz Wire.

Hoe de zelftrainingslus werkt

Het team testte het concept met een trainingssysteem opgebouwd uit twee AI-modellen. Eén kreeg de taak om reeksen symbolen te genereren; de ander probeerde te voorspellen welk symbool als volgende zou verschijnen. Geen van beide modellen raadpleegde schriftelijke documenten, foto's of andere externe bronnen; elke oefening in het leerplan werd binnen het systeem zelf geproduceerd.

Naarmate de oefeningen vorderden, werd de generator steeds geavanceerder in het creëren van uitdagingen die de prestaties van zijn partner verbeterden, terwijl de voorspeller sterkere vaardigheden ontwikkelde door herhaaldelijk te proberen die problemen op te lossen. Door deze aanpak kan een AI-systeem effectief de manier waarop het leert aanscherpen door middel van een continue lus van het genereren en oplossen van oefeningen met toenemende moeilijkheidsgraad.

Vaardigheden zonder kennis

Om te bepalen of deze vaardigheden buiten de kunstmatige trainingsomgeving konden worden toegepast, evalueerden de onderzoekers het resulterende model aan de hand van verschillende soorten echte informatie: geschreven taal, afbeeldingen, audio, muziek, computercode en DNA-sequenties.

De experimenten toonden aan dat de voorspellende nauwkeurigheid bleef toenemen naarmate er extra computerbronnen werden toegewezen aan training - een bewijs dat de methode schaalbaar is en effectiever zou kunnen worden naarmate de rekencapaciteit groter wordt.

De resultaten trekken ook een belangrijke lijn. De modellen ontwikkelden het vermogen om patronen te herkennen, maar ze verwierven niet zelfstandig feitelijke informatie over onderwerpen uit de echte wereld; Dat soort kennis, zo ontdekten de onderzoekers, vereist nog steeds blootstelling aan feitelijke gegevens. Met andere woorden: zelf gegenereerde training kan een model leren hoe te leren, maar niet wat de wereld inhoudt.

De onderzoekers zijn van mening dat de techniek toekomstige AI-systemen niettemin efficiënter kan maken, door hun onderliggende leervermogen te versterken voordat ze beginnen met het verwerken van informatie uit de echte wereld – waardoor mogelijk wordt verminderd hoeveel door mensen gegenereerde materiële grenstrainingen aan de voorkant van de pijplijn nodig hebben.

Waarom 'leren leren' belangrijk is

Er is een bruikbare analogie uit de menselijke opvoeding: een student die geoefend heeft met het oplossen van onbekende problemen haalt doorgaans meer uit een vaststaand leerboek dan iemand die het alleen maar uit zijn hoofd heeft geleerd. Wat de opstelling van Tel Aviv-Stanford op basis van deze lezing aantoont, is een machinale versie van die scheiding – een fase waarin een model algemene voorspellende vaardigheden verwerft door middel van gefabriceerde oefeningen, voordat er een echt corpus in beeld komt.

De bevinding herinnert ons er ook aan dat vooropleiding en kennis niet hetzelfde zijn, een onderscheid dat belangrijker is geworden naarmate laboratoria synthetische gegevens in hun pijplijnen mengen. Als een model het stadium van de echte gegevens kan bereiken en al weet hoe het signalen uit reeksen moet persen, zou hetzelfde corpus plausibel verder kunnen gaan - hoewel dat een hypothese blijft totdat toekomstig werk dit test.

Zoals bij elke preprint wacht het resultaat op replicatie en onderzoek door de bredere onderzoeksgemeenschap, en de evaluatie had betrekking op voorspellende taken in plaats van op de generatie met een open einde die commerciële chatbots definieert.

Een data-hongerige industrie merkt dit op

Het resultaat belandt midden in een actief debat over trainingsgegevens. De toegankelijke voorraad menselijke tekst van hoge kwaliteit is zwaar ondermijnd, en licentieovereenkomsten, synthetische data en zelfspeelmethoden zijn allemaal naar voren gebracht als manieren om modellen te blijven verbeteren wanneer het aanbod van het open web schaars wordt. Een demonstratie dat nuttige leervaardigheden kunnen voortkomen uit puur door machines gegenereerde oefeningen voegt een concreet datapunt toe aan dat argument.

Het eigen voorbehoud van de onderzoekers markeert de grens van de bewering: wereldkennis vereist nog steeds echte gegevens. Op basis van dit bewijsmateriaal is zelftraining een manier om modellen beter te maken in het leren – niet een manier om de grondwaarheid te vervangen die uit de werkelijke wereld komt.

Israël leunt op AI

De aankondiging komt terwijl Israël werkt aan het versterken van zijn positie op het gebied van kunstmatige intelligentie. Op 3 november riep president Isaac Herzog de openingssessie bijeen van het ‘Beyond Intelligence’-forum, opgericht in samenwerking met het Nationale AI-directoraat in het kabinet van de premier en het Mozaïek Instituut voor AI-beleid, om de impact van AI op de werkgelegenheid, de economische veiligheid en de samenleving te onderzoeken.

“Israël moet zijn plaats in de voorhoede van de kunstmatige intelligentie innemen”, drong Herzog tijdens de sessie aan, aldus The Media Line. "Deze trein zal niet op ons wachten, en de hele wereld kijkt onze kant op."

Voorlopig staat het resultaat van Tel Aviv-Stanford centraal in de onderzoekskolom: een preprint die wacht op onderzoek door het veld en die een trainingsprincipe beschrijft in plaats van een product. Maar als zelf gegenereerde curricula op zinvolle wijze een deel van de datapijplijn kunnen vervangen, zal de meest omstreden input van de industrie – door mensen gecreëerde data – er misschien iets minder toe doen dan de meest schaarse: computergebruik.

---

Blijf AI een stap voor

Ontvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.

Lees meer AI-nieuws →