Meer dan twintig onderzoekers – onder wie Nobelprijswinnaar Geoffrey Hinton, mede-AI-pionier Yoshua Bengio, mede-oprichter van Anthropic Jack Clark en OpenAI-hoofdwetenschapper Jakub Pachocki – hebben regeringen gewaarschuwd zich voor te bereiden op een AI-‘intelligentie-explosie’ die volgens hen de meest consequente technologische ontwikkeling in de geschiedenis zou kunnen zijn, meldde The Guardian maandag.

Het artikel, getiteld ‘Wat als het automatiseren van AI R&D een intelligentie-explosie veroorzaakt’, spoort politici aan om actie te ondernemen voordat er sprake is van een enorme vooruitgang in de technologie. De auteurs omschrijven het scenario als een “dramatische AI-gedreven versnelling van de AI-vooruitgang, waarbij vooruitgang die anders jaren zou duren, wordt gecomprimeerd tot maanden of minder”. Voor lezers die [het laatste AI-onderzoeksnieuws] (https://aibuzzwire.news) volgen, valt het rapport minder op door zijn alarm dan door wie het heeft ondertekend: cijfers uit de academische wereld en concurrerende grenslaboratoria, die gezamenlijk benadrukken dat geautomatiseerd onderzoek het scenario is waar beleidsmakers het minst op zijn voorbereid.

Wat een intelligentie-explosie zou betekenen

De centrale zorg van de auteurs is het vooruitzicht dat AI-systemen zichzelf kunnen verbeteren zonder menselijke tussenkomst – een proces dat bekend staat als recursieve zelfverbetering, in het artikel ook wel geautomatiseerd AI-onderzoek en -ontwikkeling genoemd.

Zodra AI-systemen de capaciteiten op het gebied van AI R&D op expertniveau bereiken, zo stelt het artikel, zou één enkele ontwikkelaar een personeelsbestand kunnen runnen dat gelijkwaardig is aan ‘miljoenen’ menselijke toponderzoekers. Het automatiseren van AI-R&D is volgens de auteurs de meest waarschijnlijke oorzaak van een intelligentie-explosie, omdat AI-systemen al bijdragen aan het verbeteren van hun eigen technologie – en de verbeterde systemen die ze helpen creëren snel kunnen worden ingezet zodra ze zijn gebouwd.

“Een intelligentie-explosie zou de technologische ontwikkeling met de grootste gevolgen in de menselijke geschiedenis kunnen zijn, die jaren van vooruitgang in maanden of minder zou samenpersen, de menselijke controle over AI-systemen zou bedreigen en de controles op de macht binnen en tussen staten, bedrijven en takken van de overheid ernstig zou uithollen”, zegt de krant, volgens The Guardian.

Waarom de auteurs zeggen dat het venster sluit

De urgentie van het rapport berust op een tijdlijnclaim: AI-systemen die vandaag de dag glitchy lijken, zouden in 2028 R&D-projecten die momenteel menselijke teams maanden in beslag nemen, volledig kunnen automatiseren.

“De productiviteitswinst uit AI R&D-automatisering heeft nog niet de drempel bereikt die nodig is om een intelligentie-explosie te veroorzaken, maar de winst uit nieuwere systemen nadert waarschijnlijk die drempel”, schrijven de auteurs. "Zodra een intelligentie-explosie begint, kan het venster voor actie sluiten."

Het artikel voegt eraan toe dat "voorlopig bewijs suggereert dat een door software aangedreven intelligentie-explosie mogelijk is", wat zou kunnen leiden tot de "extreem snelle ontwikkeling van zeer capabele of bovenmenselijke AI-systemen".

De risico's die zij signaleren

Hoewel een intelligentie-explosie medische doorbraken en snelle technologische sprongen zou kunnen opleveren, schetsen de auteurs drie belangrijke gevaren:

  • Op hol geslagen dreigingen. Krachtige systemen kunnen biologische en cyberdreigingen mogelijk maken die zich sneller ontwikkelen dan de maatregelen die nodig zijn om ze tegen te gaan.
  • De controle verloren. Naarmate mensen minder betrokken raken bij AI-R&D, kunnen ze de mogelijkheid verliezen om de systemen die ze bouwen te sturen en te beperken.
  • Strategische instabiliteit. Staten zouden een inlichtingenexplosie kunnen gebruiken om een ​​bescheiden voorsprong – bijvoorbeeld in cyberspace – om te zetten in een beslissend nationaal voordeel.

Het rapport zegt openhartig dat deze gevolgen “onzeker” zijn. Een technologische doorbraak zou enige tijd kunnen vergen om bepaalde toeleveringsketens voor gespecialiseerde materialen of wettelijke vereisten te implementeren, en AI-systemen zouden ook de snelheid waarmee risico’s worden beperkt kunnen versnellen.

Wat overheden zouden moeten doen

De auteurs zeggen dat de voorbereiding op een inlichtingenexplosie “een urgente prioriteit moet zijn, ook op de hoogste niveaus van regeringsleiderschap”, en schetsen een reeks kandidaat-beleidslijnen:

  • Het eisen van transparante voortgangsrapporten over AI-gerelateerde R&D, inclusief het inbedden van onafhankelijke auditors binnen AI-bedrijven
  • Beperken hoe snel een AI-systeem binnen een bepaalde periode kan verbeteren
  • Werken met datacenters om het pauzeren van bepaalde AI R&D-projecten mogelijk te maken
  • Ervoor zorgen dat geautomatiseerde AI-R&D-systemen volledig geïsoleerd zijn en niet aan menselijke controle kunnen ontsnappen
  • Het opstellen van 'noodplannen' voor de reeks scenario's die een inlichtingenexplosie zou kunnen opleveren

De voorstellen breiden ideeën uit die al door het westerse AI-beleid lopen – verplichte incidentrapportage, evaluatie door derden en computerbeheer – maar passen ze toe op een specifiek eindpunt: de automatisering van onderzoek zelf.

Waarom deze auteurs, en waarom nu

De ondertekenaars geven het document een ongebruikelijk gewicht. Hinton en Bengio zijn twee van de ‘peetvaders’ van de moderne AI, erkend voor hun fundamentele werk op het gebied van neurale netwerken; beide zijn prominente stemmen geworden die waarschuwen voor de technologie die zij hebben helpen creëren. Clark is medeoprichter van Anthropic en Pachocki is hoofdwetenschapper bij OpenAI.

Hun waarschuwing komt terecht in een meetbare beweging van de industrie in die richting. Anthropic heeft gezegd dat AI nu 80% van zijn eigen code produceert, terwijl OpenAI autonome AI-agenten gebruikt op gebieden zoals het trainen van nieuwe modellen, aldus The Guardian. Beide laboratoria zijn er ook mee akkoord gegaan om onafhankelijke beoordelaars hun modellen te laten beoordelen nadat ze hadden gewaarschuwd dat de ontwikkeling van AI een kritieke hoogte bereikte in termen van veiligheid.

Of regeringen in het tempo zullen handelen dat de auteurs wensen, is een andere vraag. Maar het kernargument van de krant – dat het moment om de remmen te bouwen is voordat de auto ze nodig heeft – wordt nu onderschreven door de mensen die het dichtst bij de machine staan.

---

Blijf AI een stap voor

Ontvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.

Lees meer AI-nieuws →