Secondo una nuova ricerca pubblicata da Anthropic il 12 ottobre, potrebbero mancare solo pochi mesi a piccoli modelli di intelligenza artificiale per essere abbastanza capaci da auto-replicarsi sui normali dispositivi di consumo - forni intelligenti, TV box Android fuori marca e altro hardware per l'internet delle cose.
Il post, scritto dai ricercatori William Zhou e Daniel Freeman, esamina la replica e adattamento autonomo (ARA): la capacità di un modello di intelligenza artificiale di dispiegarsi e propagarsi attraverso le macchine senza controllo umano. Il risultato degli esperimenti di Anthropic è che lo standard hardware per un worm AI in grado di diffondersi autonomamente è di gran lunga inferiore a quello di calcolo su scala data center e che i piccoli modelli di oggi si stanno avvicinando a questo. Per maggiori informazioni su questa storia, consulta la nostra aggiornamenti sull'intelligenza artificiale.
La preoccupazione non è ipotetica nella forma, ma solo nella tempistica. Lavori precedenti hanno già dimostrato che gli agenti IA possono comportarsi come worm di rete: scansionare una rete, eseguire un exploit e copiare i pesi del modello su una macchina target attraverso un cluster GPU, come racconta Anthropic nel suo post. Ciò che restava da dimostrare era se un simile worm potesse sopravvivere e riprodursi sull’hardware economico e debolmente difeso che costituisce la maggior parte del confine di Internet.
Cosa hanno scoperto gli esperimenti
Il team di Anthropic ha scoperto che un modello da 9 miliardi di parametri è riuscito a eseguire con successo l'inferenza su 8 dei 9 tipi di hardware testati. Modelli con 30 miliardi di parametri e meno possono già completare molti dei singoli passaggi necessari per la replica oggi, scrivono i ricercatori, anche se commettono ancora errori quando concatenano questi passaggi da un capo all'altro.
I sistemi più capaci hanno già superato quella soglia nelle valutazioni semplificate: Anthropic riferisce che GLM-5.2 e i modelli più potenti sono in grado di replicarsi end-to-end nelle condizioni di test. E la traiettoria conta tanto quanto l’istantanea: se i piccoli modelli continuano a migliorare al loro ritmo storico, scrivono i ricercatori, raggiungeranno il livello di capacità dimostrato in questi esperimenti entro la fine di quest’anno, con piccoli replicatori in grado di sostenere il peso possibili subito dopo.
Demo della botnet da 55 dollari
Per mostrare quanto poco hardware avrebbe bisogno di un modello replicante, il team ha collegato in rete 15 TV box Android poco costosi e di altre marche – circa 55 dollari ciascuno – e ha eseguito un modello da 26 miliardi di parametri, Gemma4-26B-A4B, distribuito su tutti loro. La flotta combinata ha prodotto circa 0,39 token al secondo: inferenza lenta ma funzionale su hardware che costa meno di una tastiera.
Il punto della demo è economico. La tesi di Anthropic è che una botnet distribuita di dispositivi IoT (hardware che i ricercatori descrivono come economico e in genere scarsamente difeso) potrebbe fornire abbastanza calcolo aggregato per eseguire un modello capace, senza mai toccare la GPU di un data center. I pesi del modello stesso diventerebbero parte del carico utile del malware, trasportato durante la riproduzione del worm o scaricato nuovamente da un hub pubblico sul dispositivo compromesso.
Perché un worm IoT sarebbe difficile da uccidere
A differenza del malware convenzionale, un’intelligenza artificiale autoreplicante non seguirebbe uno script fisso. Anthropic nota che poteva individuare da solo dispositivi sconosciuti, adattandosi a hardware che non aveva mai visto. E poiché la replicazione è decentralizzata, non esiste un punto centralizzato da interrompere, anche se i ricercatori notano che il processo sarebbe probabilmente lento, con un tempo di raddoppio misurato in giorni.
La ricerca suddivide la replicazione autonoma in quattro fasi pratiche: trovare obiettivi, ottenere l'esecuzione, stabilire l'inferenza e continuare la propagazione dal nuovo ospite. Anthropic ha in gran parte messo da parte le prime due – la fase di exploit – perché il lavoro precedente, inclusi i benchmark CyberGym ed ExploitBench e la ricerca sui worm adattivi, mostra già che piccoli modelli sono capaci di cyber exploit se dotati degli strumenti giusti. Il problema più difficile da misurare, nonché il fulcro di questo post, è stabilire un'inferenza operativa sui dispositivi compromessi.
Dall'avvertimento della ricerca alla copertura del mondo reale
I risultati hanno attirato immediatamente l’attenzione oltre la comunità di ricerca. Reuters ha riferito che i modelli di intelligenza artificiale potrebbero presto essere in grado di auto-replicarsi senza accesso ai data center, mentre CBS News ha inquadrato il lavoro come un avvertimento che i "worm AI" potrebbero presto essere in grado di auto-replicarsi e infettare i dispositivi intelligenti. La storia è circolata ampiamente anche su Hacker News, dove i lettori hanno discusso di quanto velocemente si colmerà il divario di capacità.
Una preoccupazione di lunga data diventa concreta
La replicazione autonoma è stata per anni nelle liste di controllo della sicurezza dell’intelligenza artificiale come capacità teorica associata ai sistemi avanzati. Ciò che rende notevole questa ricerca è la specificità: hardware denominato, costi in dollari, produttività dei token e una sequenza temporale misurata in mesi anziché in valori ipotetici. I ricercatori di Anthropic osservano anche che le GPU dei data center sarebbero ovviamente l'obiettivo di alto valore per questo tipo di malware, ma i loro esperimenti dimostrano che tali acceleratori non sono strettamente necessari.
Il lavoro si inserisce in una serie più ampia di preoccupazioni relative alla sicurezza degli agenti, dai modelli che ingannano i loro valutatori agli strumenti degli agenti sondati per le capacità di exploit. Il messaggio di Anthropic non è tanto l'esistenza di un worm IoT oggi, quanto il fatto che la distanza tra "possibile in linea di principio" e "possibile quest'anno" si sta restringendo e che le difese basate sull'intelligenza artificiale che necessita di hardware costoso e centralizzato potrebbero non reggere a lungo.
Ciò che rimane non dimostrato
I ricercatori sono attenti ai limiti dei loro risultati. I successi della replica end-to-end si sono verificati, come afferma il post, in "valutazioni semplificate" - e le fasi di exploit della catena sono state presupposte piuttosto che dimostrate, basandosi su parametri di riferimento precedenti piuttosto che su nuovi attacchi. Un worm AI nel mondo reale dovrebbe concatenare tutte e quattro le fasi in modo affidabile: individuazione dei dispositivi vulnerabili, irruzione, bootstrap dell’inferenza su hardware sconosciuto e lancio della successiva ondata di propagazione, il tutto senza intervento umano.
Gli odierni modelli sub-30B, in particolare, possono eseguire molti di questi passaggi individualmente, ma non riescono ancora a comporli dall'inizio alla fine. Questo divario – tra passaggi e sequenze – è esattamente ciò che i ricercatori si aspettano che i tassi di miglioramento storici vengano colmati.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
