생성 AI 시스템에 3D 프린팅용 머그 디자인을 요청하면 커피를 담을 수 없는 멋진 컵을 받게 될 것입니다. MIT의 컴퓨터 과학 및 인공 지능 연구소(CSAIL) 연구원들은 Google 및 Northeastern University와 협력하여 바로 이 문제를 해결하기 위한 도구를 만들었습니다. MIT News에 따르면 전문가든 초보자든 누구나 AI 생성 3D 모델을 수리하고 실제로 의도한 대로 제작할 수 있는 설계 시스템인 InstructMesh입니다.

InstructMesh가 목표로 하는 문제는 오늘날 생성 모델이 작동하는 방식의 기본입니다. AI 시스템은 물체가 어떻게 보여야 하는지 이해하지만 작동 방식은 이해하지 못하므로 항목의 의도된 용도를 훼손하는 비현실적인 디자인을 생성합니다. 그리고 사용자가 결함을 발견하더라도 일반적으로 3D 모델을 편집하기 어렵습니다. 특히 3D 디자인을 처음 접하는 사람들에게는 더욱 그렇습니다. 2026년 10월 1일 MIT News에서 발표한 InstructMesh는 디자인이 어떻게 보여야 하는지, 사용자가 어떤 편집을 원하는지 모두 이해하여 프롬프트 내용과 인쇄 내용 사이의 격차를 줄이기 위해 설계된 AI 기반 인터페이스입니다. 최신 AI 개발을 추적하는 팀의 경우, 생성 AI가 자신의 실수를 감시하는 데 사용되는 것은 드문 예입니다.

InstructMesh 작동 방식

InstructMesh는 텍스트 및 이미지 프롬프트에서 3D 모델을 생성하는 Microsoft의 TRELLIS 시스템과 ChatGPT의 기반이 되는 대규모 언어 모델인 GPT-4를 결합하여 시각적 지식과 텍스트 지식을 단일 워크플로에 결합합니다. 사용자는 안경 등의 3D 디자인을 생성하도록 시스템에 요청한 다음 인쇄하기 전에 다듬고 싶은 청사진의 특정 부분을 강조 표시할 수 있습니다.

"우리는 3D 생성기의 재능과 LLM의 추론 기술을 대화형 공간에서 결합하여 사람들이 실제로 원하는 개체를 만들고 싶었습니다."라고 프로젝트를 발표한 논문의 수석 저자이자 최근 MIT EECS 졸업생이자 CSAIL 제휴사이며 현재 Google에서 근무하고 있는 Faraz Faruqi는 말했습니다.

조작은 생성 모델의 잠재 공간에서 발생합니다. 사용자는 문제를 자연어로 설명하고 InstructMesh는 사용자가 평가하고 승인할 수 있도록 형상에 대한 해석적 변경 사항을 생성합니다. 슬라이더는 모델의 특정 부분을 확대하거나 돌출시키는 등의 조정에 정밀도를 추가합니다. 그 결과, Faruqi는 "그들이 본 것이 바로 그들이 얻은 것이며 품목은 광고된 대로 작동했다"고 말했습니다.

데모 뒤에 숨은 숫자

팀에서는 구조화된 테스트를 통해 도구를 사용했습니다. 그들은 수백만 개의 인쇄 가능한 디자인을 호스팅하는 플랫폼인 Thingiverse에서 TRELLIS로 인기 있는 3D 모델을 재현하게 했으며, 생성된 모델의 거의 80%에 어떤 방식으로든 구조적 결함이 있음을 발견했습니다. 그런 다음 CSAIL 연구원은 초보자에게 InstructMesh를 사용하여 이러한 문제를 식별하고 수정하도록 요청했으며, 전문가의 검토에 따르면 신규 사용자는 약 90%의 시간에서 두 가지 모두 성공했습니다.

InstructMesh가 제공하는 기술은 수년간의 CAD 교육이 아니라 기능에 대한 판단임을 암시하기 때문에 성공률이 중요합니다. MIT News는 "이 신참자들의 전문지식이 부족한 점을 직관으로 보완했다"고 표현했습니다.

데모 작품은 범위를 보여줍니다. InstructMesh는 용으로 둘러싸인 머그잔을 생산했으며 꼬리가 손잡이를 형성했습니다. 껍질 모양의 반짝이는 파란색 휘파람; 렌즈 위에 나비 날개가 펼쳐진 안경; 그리고 각각의 촉수가 별도의 컵에 쏟아지는 문어 모양의 음료 디스펜서도 있습니다. 기발함을 넘어서, MIT 과학자들은 이 도구를 사용하여 환자의 청바지와 어울리는 데님 모양의 무릎 보호대와 다채로운 새우 모양의 "강모 로봇"(태엽 장난감처럼 표면을 가로질러 장치를 추진하는 모터를 숨기는 로봇 인클로저)을 제작했습니다.

중요한 이유

제너레이티브 AI는 이미 텍스트, 이미지, 코드를 변환했지만 물리적 제작은 여전히 완고한 개척 분야입니다. 연구팀은 "보이는 대로 얻는다"라는 오래된 소프트웨어 원칙, 즉 편집 중인 콘텐츠가 최종 제품과 동일하게 보이는 프로그램으로 문제를 해결합니다. 생성적 3D 도구는 머그잔을 상상하는 모델이 벽 두께, 손잡이 강도 또는 내부에 액체를 담을 수 있는지 여부에 대한 내부 확인이 없기 때문에 일상적으로 약속을 깨뜨립니다. 그럴듯해 보이는 메시와 현실 세계와의 접촉에서 살아남는 물체 사이의 격차는 대부분의 소비자 3D 프린팅 야망이 사라지는 지점입니다.

InstructMesh는 대화형 및 언어 기반 복구를 통해 AI 지원 제작의 마지막 단계 문제를 해결합니다. 이 시스템은 이전에 전문 3D 도구에 대한 심층적인 도메인 전문 지식이 필요했던 모델링 프로세스를 스캐폴딩하여 메뉴와 수정자를 무엇이 잘못되었는지에 대한 자연어 설명과 미세 조정을 위한 슬라이더로 대체합니다. 디자인은 더 이상 실제가 되기 위해 전문가가 필요하지 않으며, MIT 연구의 전문가 리뷰에 따르면 수정은 미용이 아닌 것으로 나타났습니다. 즉, 초보자의 손을 거친 물체가 기능적인 것으로 나타났습니다.

연구에는 상업적 목적도 있습니다. 현재 Google에 있는 Faruqi는 InstructMesh를 증강 현실 플랫폼에 통합할 수 있습니다. 비전은 주변 상황을 사용하여 필요한 것이 무엇인지 설명하고 시스템이 지갑에 맞는 휴대폰 케이스처럼 이를 빠르게 3D 프린팅하는 것입니다.

3D 프린팅 산업의 경우, 이 연구의 더욱 도발적인 발견은 선도적인 생성 시스템의 AI 생성 모델에서 결함률이 80%라는 것입니다. 텍스트-3D 도구가 소비자 제품을 향해 경쟁함에 따라 InstructMesh는 생성만으로는 충분하지 않으며 검증과 수리가 동일한 상자에 배송되어야 한다고 주장합니다.

---

AI보다 앞서 나가세요

최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.

AI 뉴스 자세히 보기 →