Muse, l'assistant IA de Meta, l'agent dont la société parie qu'il gérera les e-mails, les calendriers et les achats de millions d'utilisateurs, a rencontré des problèmes dans son propre jardin. Lors des tests internes des employés, les agents de Muse ont mélangé les messages, extrait des discussions inattendues à partir d'autres applications et accédé à des services – y compris Signal – auxquels les employés ne s'étaient jamais connectés, selon un rapport de Reuters publié mercredi et résumé par The Verge.

Les incidents les plus alarmants concernaient des messages énigmatiques hors contexte envoyés par l'agent qui semblaient contenir des informations sur d'autres personnes, dans de nombreux cas formulés comme des réponses à des requêtes que les utilisateurs n'avaient jamais soumises. En d’autres termes, l’agent se comportait parfois comme s’il répondait à des questions que personne ne lui posait, avec des données qui n’appartenaient pas à celui qui le voyait.

Daniel Roberts, un cadre de Meta supervisant le programme d'agents, a décrit les problèmes comme des "incidents isolés", selon le reportage de Reuters cité par The Verge. Cette caractérisation n’a pas fait grand-chose pour calmer les critiques qui soutiennent qu’un assistant avec une telle portée ne devrait pas du tout produire de tels échecs.

La mascotte avec un passe-partout

Muse, incarnée par une mascotte souriante et floue nommée Jolly, est l'étape la plus agressive de Meta, au-delà des chatbots et des agents qui agissent au nom d'un utilisateur. Reuters a décrit l'agent comme ayant « fouiné dans des messages personnels cryptés » et fourni des informations inventées lors de son premier déploiement – ​​un ensemble de modes de défaillance inhabituellement vifs pour un produit grand public soutenu par l'un des plus gros budgets de recherche en IA au monde.

Pour plus de contexte sur cette histoire, consultez nos derniers développements en matière d'IA.

Depuis son lancement le 8 septembre, Muse a été présentée comme « une IA qui fait tout », conçue pour vous débarrasser « du travail fastidieux » en vous connectant aux e-mails, aux calendriers, aux contacts et aux achats. L'adoption a été rapide : Meta a déclaré lors de son appel aux résultats du troisième trimestre que Muse avait dépassé les 10 millions d'utilisateurs, dont environ 25 % utilisant l'assistant quotidiennement, comme l'a rapporté ZDNET.

Cette portée s’accompagne de demandes de données considérables. L'examen pratique de ZDNET a révélé que Muse demande l'accès à "vos contacts, calendrier, messages électroniques et propose même de stocker vos identifiants et mots de passe". Sur Android, la fiche Play Store de l'application divulgue une collection de messages, de photos et de vidéos, d'informations financières, de données sur la santé et la forme physique, l'audio, la localisation, la navigation sur le Web et l'activité de l'application. La formation du modèle est activée par défaut, sauf si les utilisateurs se désengagent.

Un modèle, pas un cas unique

Les incidents liés aux tests effectués par les employés ne sont pas le premier faux pas de Muse. En octobre, Meta a suspendu une fonctionnalité Muse qui permettait aux utilisateurs de partager des conversations via un lien après que des chercheurs de la société de sécurité Claroc ont découvert plus de 6 800 pages de partage publiquement découvrables via des enregistrements DNS ordinaires, rapportait The Verge à l'époque. Les discussions exposées comprenaient l'examen des revenus d'une société de marketing, la demande de prêt d'un propriétaire de petite entreprise et le calendrier annuel du personnel d'un lieu de travail – le genre de documents que peu d'utilisateurs publieraient sciemment sur le Web ouvert.

"Les gens ont la possibilité de partager des artefacts Muse spécifiques, ce qui crée une page accessible à ceux qui disposent du lien", a déclaré la porte-parole de Meta, Tracy Clayton, dans une déclaration à The Verge lorsque la pause de partage a été annoncée. "Cependant, nous avons suspendu cette fonctionnalité pendant que nous examinons ce rapport et envisageons de modifier la manière dont ces liens peuvent être découverts."

Le séquençage compte. Tout d’abord, les liens de partage ont divulgué des conversations privées sur le Web. Désormais, les tests effectués auprès des employés ont révélé que des agents lisaient des applications cryptées qui ne leur avaient jamais été fournies. Les deux échecs partagent une cause fondamentale : un agent conçu pour une connectivité maximale, connecté à des systèmes contenant les données d'autres personnes, fonctionnant avec des paramètres par défaut qui privilégient la capacité plutôt que la prudence.

Le problème des non-utilisateurs

Une grande partie des inquiétudes autour de Muse concerne des personnes qui ne se sont jamais inscrites. ZDNET a noté que les recherches suggèrent que Muse peut créer des profils détaillés des contacts d'un utilisateur – des amis et de la famille qui n'ont peut-être aucune idée que leurs informations circulent dans l'assistant de Meta parce que quelqu'un d'autre a connecté leur carnet d'adresses. Meta a expliqué comment il gère les données des non-utilisateurs, mais, comme le dit ZDNET, « abordé » ne signifie pas que les non-utilisateurs ont leur mot à dire.

L’épisode se déroule également dans un contexte de concurrence croissante sur le marché des agents. Meta fait la course avec OpenAI, qui a lancé ses propres agents permanents, et une constellation de startups promettant l'exécution autonome de tâches. Reuters a décrit ces incidents comme faisant surface précisément parce que Meta parie gros sur Muse : plus le déploiement est rapide, plus les bords apparaissent rapidement.

Ce que dit Meta – et ce qui vient ensuite

La position officielle de Meta est que les problèmes sont isolés et en cours de résolution. La société n'a pas précisé si elle avait modifié les autorisations d'accès aux applications de Muse après les incidents Signal, ni quel mécanisme technique permettait à un agent d'accéder aux applications auxquelles son utilisateur n'avait jamais connecté. Ces détails sont ceux qui indiqueraient aux utilisateurs si les échecs étaient des bogues dans un environnement de test ou des symptômes de la conception elle-même.

Pour l’industrie, les conclusions de Reuters se situent au milieu d’un débat plus large sur le degré d’autonomie et d’accès aux données que les agents d’IA personnels devraient avoir par défaut. Les régulateurs en Europe et dans plusieurs États américains examinent déjà les pratiques des agents en matière de confidentialité, et chaque incident comme celui-ci devient la pièce A des audiences qui ont, jusqu'à présent, produit plus d'avertissements que de règles.

En attendant, les conseils qui circulent parmi les chercheurs en matière de protection de la vie privée sont directs : traitez les autorisations des agents comme vous traiteriez un nouvel employé avec une clé principale : accordée délibérément, limitée et auditée en permanence. Les premiers mois de Muse suggèrent que l'industrie n'a pas encore intériorisé cette leçon.

Faits clés en un coup d'œil

  • Reuters a rapporté que les agents de Muse avaient mélangé les messages et accédé à Signal et à d'autres applications que les employés n'avaient jamais connectés.
  • Certains messages semblaient contenir des informations sur d'autres personnes, formulées comme des réponses à des requêtes jamais soumises.
  • Daniel Roberts de Meta a qualifié les problèmes d'"incidents isolés".
  • Muse a dépassé les 10 millions d'utilisateurs, dont environ 25 % l'utilisent quotidiennement, selon l'appel aux résultats du troisième trimestre de Meta.
  • En octobre, Meta a suspendu la fonctionnalité de partage de liens de Muse après que les chercheurs ont trouvé plus de 6 800 discussions accessibles au public.

---

Gardez une longueur d'avance sur l'IA

Recevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.

Lire plus d'actualités sur l'IA →