Demandez à un système d’IA générative de concevoir une tasse pour l’impression 3D et vous recevrez probablement une belle tasse qui ne pourra pas contenir votre café. Des chercheurs du Laboratoire d'informatique et d'intelligence artificielle (CSAIL) du MIT, en collaboration avec Google et la Northeastern University, ont construit un outil pour résoudre exactement ce problème : InstructMesh, un système de conception qui permet à quiconque, expert ou novice, de réparer les modèles 3D générés par l'IA et de les fabriquer comme ils l'ont réellement prévu, selon MIT News.
Le problème ciblé par InstructMesh est fondamental pour le fonctionnement des modèles génératifs actuels. Les systèmes d'IA comprennent à quoi devrait ressembler un objet, mais pas comment il fonctionne, ce qui produit des conceptions peu pratiques qui compromettent l'utilisation prévue d'un objet. Et même lorsque les utilisateurs repèrent le défaut, les modèles 3D sont généralement difficiles à modifier, en particulier pour les personnes novices en conception 3D. InstructMesh, annoncé par MIT News le 1er octobre 2026, est une interface basée sur l'IA conçue pour comprendre à la fois à quoi devraient ressembler les conceptions et quelles modifications les utilisateurs souhaitent apporter, comblant ainsi l'écart entre ce que vous demandez et ce que vous imprimez. Pour les équipes qui suivent les derniers développements de l'IA, il s'agit d'un exemple rare d'IA générative utilisée pour contrôler les propres erreurs de l'IA générative.
Comment fonctionne InstructMesh
InstructMesh associe le système TRELLIS de Microsoft, qui génère des modèles 3D à partir d'invites de texte et d'image, avec GPT-4, le grand modèle de langage derrière ChatGPT, combinant des connaissances visuelles et textuelles dans un seul flux de travail. Un utilisateur peut demander au système de générer une conception 3D pour, par exemple, une paire de lunettes, puis mettre en évidence des parties spécifiques du plan qu'il souhaite affiner avant l'impression.
"Nous voulions rassembler les talents des générateurs 3D et les capacités de raisonnement des LLM dans un espace interactif pour créer des objets que les gens veulent réellement", a déclaré Faraz Faruqi, auteur principal de l'article présentant le projet, récent diplômé du MIT EECS et affilié au CSAIL qui travaille maintenant chez Google.
La manipulation se produit dans l'espace latent du modèle génératif : les utilisateurs décrivent les problèmes en langage naturel et InstructMesh produit des modifications interprétatives de la géométrie que l'utilisateur peut évaluer et approuver. Les curseurs ajoutent de la précision pour les ajustements tels que l'agrandissement ou l'extrusion d'une partie particulière du modèle. Le résultat, selon Faruqi, est que « ce qu’ils ont vu est ce qu’ils ont obtenu, et les articles ont fonctionné comme annoncé ».
Les chiffres derrière la démo
L’équipe a soumis l’outil à un test structuré. Ils ont demandé à TRELLIS de recréer des modèles 3D populaires à partir de Thingiverse, une plate-forme hébergeant des millions de conceptions imprimables, et ont découvert que près de 80 % des modèles générés présentaient des défauts structurels d'une manière ou d'une autre. Les chercheurs du CSAIL ont ensuite demandé aux novices d'identifier et de résoudre ces problèmes à l'aide d'InstructMesh – et les nouveaux arrivants ont réussi dans les deux cas environ 90 % du temps, selon l'examen d'un expert.
Ce taux de réussite est important car il suggère que les compétences fournies par InstructMesh sont un jugement sur la fonction, et non des années de formation en CAO. "Ce qui manquait à ces nouveaux arrivants en expertise, ils l'ont compensé par leur intuition", comme le dit MIT News.
Les pièces de démonstration montrent la gamme. InstructMesh a produit une tasse enveloppée par un dragon, sa queue formant la poignée ; un sifflet bleu brillant en forme de coquille ; des lunettes aux ailes de papillon s'étalant au-dessus des verres ; et un distributeur de boissons en forme de poulpe dont les tentacules se versent chacun dans une tasse séparée. Au-delà de la fantaisie, les scientifiques du MIT ont utilisé l'outil pour fabriquer une genouillère d'aspect denim assortie au jean d'un patient, ainsi qu'un "bot à poils" coloré en forme de crevette - une enceinte de robot cachant un moteur qui propulse l'appareil sur des surfaces comme un jouet à remonter.
Pourquoi c'est important
L’IA générative a déjà transformé le texte, les images et le code, mais la fabrication physique reste une frontière tenace. L'équipe de recherche formule le problème avec un vieux principe logiciel : "ce que vous voyez est ce que vous obtenez" : des programmes dans lesquels le contenu que vous éditez ressemble au produit final. Les outils 3D génératifs rompent régulièrement cette promesse, car le modèle qui imagine une tasse ne comporte aucun contrôle interne de l'épaisseur de la paroi, de la résistance de la poignée ou de la capacité de l'intérieur à contenir du liquide. C’est dans l’écart entre un maillage d’apparence plausible et un objet qui survit au contact avec le monde réel que meurent la plupart des ambitions des consommateurs en matière d’impression 3D.
En rendant la réparation interactive et basée sur le langage, InstructMesh s'attaque au problème du dernier kilomètre de la création assistée par l'IA. Le système étaye un processus de modélisation qui nécessitait auparavant une expertise approfondie dans le domaine des outils 3D professionnels, remplaçant les menus et les modificateurs par des descriptions en langage naturel de ce qui ne va pas et des curseurs pour des ajustements précis. Les conceptions ne nécessitent plus l'intervention d'un expert pour devenir réelles, et l'examen des experts dans l'étude du MIT suggère que les correctifs ne sont pas cosmétiques : les objets qui sont passés entre des mains novices se sont révélés fonctionnels.
Il y a également une piste commerciale à la recherche. Faruqi, maintenant chez Google, pourrait intégrer InstructMesh dans une plate-forme de réalité augmentée – la vision étant que vous expliquiez ce dont vous avez besoin en utilisant le contexte de votre environnement et que le système l'imprime rapidement en 3D, comme une coque de téléphone qui correspond à votre portefeuille.
Pour l'industrie de l'impression 3D, le résultat le plus provocateur de l'étude est le taux de défauts de 80 % dans les modèles générés par l'IA à partir d'un système génératif leader. Alors que les outils de conversion texte-3D se tournent vers les produits de consommation, InstructMesh fait valoir que la génération seule ne suffit pas : la vérification et la réparation doivent être livrées dans la même boîte.
---
Gardez une longueur d'avance sur l'IARecevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.
Lire plus d'actualités sur l'IA →
