Le directeur général d'Anthropic, Dario Amodei, a averti les législateurs que la tendance accélérée vers l'intelligence artificielle open source pourrait conduire la société sur une voie dangereuse si des modèles puissants étaient publiés sans précautions, relançant ainsi l'un des débats les plus controversés en matière de politique en matière d'IA.
Amodei, qui a fondé et dirige l'entreprise derrière la famille de modèles Claude, a fait valoir que la nature unique de l'IA open source, qui rend les systèmes avancés librement accessibles à tous pour télécharger, modifier et déployer, crée des risques que les logiciels open source conventionnels n'ont jamais posés. Ses remarques, rapportées par Tekedia, se concentrent sur la difficulté de contrôler une IA performante une fois qu'elle a été distribuée publiquement. Pour plus de contexte sur cette histoire, consultez nos plus d'histoires sur l'IA.
Contrairement aux logiciels traditionnels, les systèmes d’IA de pointe peuvent générer des textes convaincants, produire des images réalistes, écrire du code informatique et faciliter les tâches de cybersécurité. Amodei affirme que, entre de mauvaises mains, ces capacités pourraient être exploitées pour automatiser des cyberattaques, lancer des campagnes de désinformation sophistiquées ou faire progresser des recherches biologiques nuisibles.
Le problème de la permanence
L’un des principaux risques soulignés par Amodei est qu’une fois qu’un modèle puissant est publié ouvertement, il devient effectivement impossible de s’en souvenir. Les systèmes fermés exploités par les entreprises peuvent être surveillés, corrigés et restreints lorsque de nouvelles vulnérabilités apparaissent. En revanche, un modèle open source peut être copié indéfiniment et redistribué sur Internet, ne laissant aux développeurs aucun mécanisme pour limiter son utilisation après sa publication.
Cette permanence, prévient Amodei, est particulièrement troublante à mesure que les modèles se rapprochent des performances au niveau humain sur des tâches de plus en plus complexes. Il a fait valoir que l’IA avancée devrait être soumise à des tests de sécurité rigoureux, à un déploiement contrôlé et à une surveillance réglementaire appropriée avant qu’elle ne devienne largement accessible, plutôt que d’être traitée comme un logiciel ordinaire pouvant être amélioré de manière collaborative et ouverte.
Sa position reflète une ligne de fracture croissante dans l’industrie. Les partisans de l’IA open source affirment que l’accès public stimule la concurrence, démocratise le progrès technologique et empêche une poignée d’entreprises de monopoliser l’intelligence artificielle. Les développeurs du monde entier peuvent inspecter l’architecture des modèles, détecter les failles de sécurité et améliorer les systèmes de manière collaborative, tandis que les startups, les chercheurs et les établissements d’enseignement peuvent construire sans dépendre de plates-formes propriétaires coûteuses.
Risques spécifiques sur la table
Les préoccupations d'Amodei ne sont pas abstraites. Les modèles commercialisés publiquement ont déjà été dépouillés de leurs garde-corps de sécurité par des chercheurs utilisant des techniques de réglage simples, une pratique qui a démontré avec quelle rapidité les mesures de protection peuvent être supprimées une fois que les poids sous-jacents sont rendus publics. À mesure que les modèles deviennent plus performants dans des tâches telles que la chimie, la biologie et l’exploitation de logiciels, la crainte est que les versions ouvertes puissent offrir des capacités puissantes à des acteurs qui ne passeraient jamais les tests que les laboratoires responsables imposent à leurs clients.
La dimension de la désinformation a également attiré l’attention. Les modèles capables de générer du texte, des images et du son réalistes à grande échelle pourraient être orientés vers l’ingérence électorale, la fraude financière ou la production de masse de propagande. Comme un modèle ouvert fonctionne entièrement sur le matériel de l'attaquant, a noté Amodei, il n'y a pas d'API à limiter, pas de compte à suspendre et pas de fournisseur à tenir responsable une fois le dommage causé.
Un contexte compétitif
Les avertissements d'Amodei arrivent au milieu d'une vague de modèles ouverts performants de développeurs chinois. Le GLM-5.2 de Zhipu, ainsi que d'autres systèmes chinois à faible coût, ont attiré une nouvelle attention sur la rapidité avec laquelle les modèles ouverts et librement disponibles comblent l'écart avec les systèmes propriétaires pionniers d'Anthropic et d'OpenAI. Cette pression concurrentielle a intensifié le débat politique sur la question de savoir si les restrictions sur les publications ouvertes profiteraient aux entreprises dominantes ou exposeraient les sociétés à des abus.
Les critiques de la position d'Amodei affirment que restreindre l'IA open source pourrait par inadvertance consolider les grandes entreprises technologiques en limitant l'innovation indépendante. Ils notent également que la transparence permet souvent aux chercheurs d'identifier les vulnérabilités plus rapidement que le développement fermé. Même de nombreux partisans du développement ouvert reconnaissent cependant que des systèmes de plus en plus puissants peuvent nécessiter des cadres de gouvernance plus solides que les générations précédentes de logiciels.
La corde raide réglementaire
La discussion est devenue urgente à mesure que les gouvernements du monde entier réfléchissent à de nouvelles réglementations en matière d’IA. Les décideurs politiques sont confrontés à un équilibre difficile : des restrictions excessives pourraient ralentir la croissance économique et les découvertes scientifiques, tandis qu’une surveillance insuffisante pourrait exposer les sociétés à des risques difficiles à anticiper. Pour atteindre cet équilibre, suggère Amodei, il faut une collaboration entre les gouvernements, les entreprises technologiques, les chercheurs universitaires et la société civile.
Son témoignage souligne l’un des débats politiques technologiques déterminants de la décennie. À mesure que l’intelligence artificielle devient de plus en plus performante, la société doit décider comment encourager l’innovation tout en minimisant les dangers associés à un accès généralisé aux systèmes transformateurs. Qu’il s’agisse de réglementations, de normes industrielles ou de coopération internationale, les choix faits dans les mois à venir concernant l’IA open source pourraient déterminer qui contrôle la technologie et la manière dont elle sera déployée en toute sécurité pour les années à venir.
Pour Anthropic, cette position est cohérente avec l'accent mis depuis longtemps par l'entreprise sur la sécurité de l'IA et les versions contrôlées. Mais avec l'évolution rapide des modèles ouverts et les efforts des régulateurs pour rattraper leur retard, l'écart entre les avertissements d'Amodei et le rythme du mouvement open source pourrait se réduire plus rapidement que les décideurs politiques ne peuvent le combler.
---
Gardez une longueur d'avance sur l'IARecevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.
Lire plus d'actualités sur l'IA →
