Selon une nouvelle étude publiée par Anthropic le 12 octobre, il ne faudra peut-être que quelques mois aux petits modèles d'IA pour être suffisamment capables de s'auto-répliquer sur des appareils grand public ordinaires – fours intelligents, boîtiers Android TV hors marque et autres matériels Internet des objets.
L'article, rédigé par les chercheurs William Zhou et Daniel Freeman, examine la réplication et adaptation autonomes (ARA) : la capacité d'un modèle d'IA à se déployer et à se propager sur des machines sans contrôle humain. Le résultat des expériences d'Anthropic est que la barre matérielle pour un ver IA à propagation automatique est bien inférieure à celle du calcul à l'échelle d'un centre de données – et que les petits modèles d'aujourd'hui s'y rapprochent. Pour plus de contexte sur cette histoire, consultez notre couverture de l'industrie de l'IA.
L’inquiétude n’est pas hypothétique quant à la forme, mais seulement quant au timing. Des travaux antérieurs ont déjà montré que les agents d'IA peuvent se comporter comme des vers de réseau : analyser un réseau, exécuter un exploit et copier les poids du modèle sur une machine cible via un cluster GPU, comme le raconte Anthropic dans son article. Restait à savoir si un tel ver pouvait survivre et se reproduire sur le matériel bon marché et faiblement défendu qui constitue l'essentiel de l'avantage d'Internet.
Ce que les expériences ont trouvé
L'équipe d'Anthropic a découvert qu'un modèle de 9 milliards de paramètres a réussi à faire fonctionner l'inférence sur 8 des 9 types de matériel testés. Les modèles de 30 milliards de paramètres et moins peuvent déjà réaliser de nombreuses étapes individuelles requises pour la réplication aujourd'hui, écrivent les chercheurs, bien qu'ils commettent encore des erreurs en enchaînant ces étapes bout à bout.
Les systèmes plus performants ont déjà dépassé ce seuil dans les évaluations simplifiées : Anthropic rapporte que le GLM-5.2 et les modèles plus puissants sont capables d'une réplication de bout en bout dans ses conditions de test. Et la trajectoire compte autant que l'instantané : si les petits modèles continuent de s'améliorer à leur rythme historique, écrivent les chercheurs, ils atteindront le niveau de capacité démontré dans ces expériences d'ici la fin de cette année, avec de petits réplicateurs porteurs possibles peu de temps après.
La démo du botnet à 55 $
Pour montrer le peu de matériel dont un modèle de réplication aurait besoin, l'équipe a mis en réseau 15 boîtiers Android TV peu coûteux et hors marque – environ 55 $ chacun – et a exécuté un modèle de 26 milliards de paramètres, Gemma4-26B-A4B, réparti sur chacun d'eux. La flotte combinée a produit environ 0,39 jeton par seconde : une inférence lente mais fonctionnelle sur du matériel qui coûte moins cher qu'un clavier.
Le but de la démo est économique. L'argument d'Anthropic est qu'un botnet distribué d'appareils IoT – un matériel que les chercheurs décrivent comme bon marché et généralement mal défendu – pourrait fournir suffisamment de calcul global pour exécuter un modèle performant, sans jamais toucher au GPU d'un centre de données. Les poids du modèle eux-mêmes feraient partie de la charge utile du malware, soit emporté lors de la reproduction du ver, soit retéléchargé depuis un hub public sur l'appareil compromis.
Pourquoi un ver IoT serait difficile à tuer
Contrairement aux logiciels malveillants classiques, une IA auto-répliquée ne suivrait pas de script fixe. Anthropic note qu'il pouvait découvrir par lui-même des appareils inconnus, en s'adaptant à du matériel qu'il n'avait jamais vu. Et comme la réplication est décentralisée, il n’y a pas de point centralisé à arrêter – même si les chercheurs notent que le processus serait probablement lent, avec un temps de doublement mesuré en jours.
La recherche divise la réplication autonome en quatre étapes pratiques : trouver des cibles, obtenir l'exécution, établir l'inférence et poursuivre la propagation à partir du nouvel hôte. Anthropic a largement mis de côté les deux premières – la phase d’exploitation – car des travaux antérieurs, notamment les benchmarks CyberGym et ExploitBench et les recherches sur les vers adaptatifs, montrent déjà que les petits modèles sont capables de cyber-exploits lorsqu’on leur donne les bons outils. Le problème le plus difficile à mesurer, et l’objet de cet article, est d’établir une inférence fonctionnelle sur les appareils compromis.
De l'avertissement de recherche à la couverture du monde réel
Les résultats ont immédiatement attiré l’attention au-delà de la communauté des chercheurs. Reuters a rapporté que les modèles d'IA pourraient bientôt être capables de s'auto-répliquer sans accès aux centres de données, tandis que CBS News a présenté ces travaux comme un avertissement selon lequel les « vers IA » pourraient bientôt être capables de s'auto-répliquer et d'infecter les appareils intelligents. L’histoire a également largement circulé sur Hacker News, où les lecteurs ont débattu de la rapidité avec laquelle l’écart de capacité se comblerait.
Une préoccupation de longue date devient concrète
La réplication autonome figure depuis des années sur les listes de surveillance de la sécurité de l’IA en tant que capacité théorique associée aux systèmes avancés. Ce qui rend cette recherche remarquable, c'est sa spécificité : le matériel nommé, les coûts en dollars, le débit des jetons et un calendrier mesuré en mois plutôt qu'en hypothèses. Les chercheurs d'Anthropic observent également que les GPU des centres de données seraient une cible évidente de grande valeur pour de tels logiciels malveillants, mais leurs expériences démontrent que ces accélérateurs ne sont pas strictement nécessaires.
Le travail se situe au milieu d’un ensemble plus large de préoccupations en matière de sécurité des agents, depuis les modèles qui trompent leurs évaluateurs jusqu’aux outils d’agent testés pour leurs capacités d’exploitation. Le message d'Anthropic est moins qu'un ver IoT existe aujourd'hui que que la distance entre « possible en principe » et « possible cette année » se rétrécit – et que les défenses fondées sur l'IA nécessitant un matériel centralisé et coûteux pourraient ne pas tenir longtemps.
Ce qui reste à prouver
Les chercheurs sont attentifs aux limites de leurs résultats. Les succès de la réplication de bout en bout se sont produits, comme le dit l'article, dans le cadre d'« évaluations simplifiées » – et les étapes d'exploitation de la chaîne ont été supposées plutôt que démontrées, reposant sur des références antérieures plutôt que sur de nouvelles attaques. Un ver IA du monde réel devrait enchaîner les quatre étapes de manière fiable : localiser les appareils vulnérables, s'introduire, amorcer l'inférence sur du matériel inconnu et lancer la prochaine vague de propagation, le tout sans intervention humaine.
Les modèles sub-30B actuels, notamment, peuvent effectuer plusieurs de ces étapes individuellement, mais ne parviennent toujours pas à les composer bout à bout. Cet écart – entre les étapes et les séquences – est précisément ce que les chercheurs s’attendent à ce que les taux d’amélioration historiques soient comblés.
---
Restez à la Pointe de l'IALes dernières actualités, analyses et percées en IA — au même endroit.
Lire plus d'actualités IA →
