로봇에게 "노트북에 커피를 흘리지 마세요"라고 말하면 오늘날의 기계가 정확히 그 일을 할 것입니다. 노트북 옆에 전화기가 있나요? 테이블 반대편에서 태블릿이 충전되고 있나요? 각 단어의 철자를 입력할 때까지 로봇의 레이더에서 벗어나 지루한 수정을 통해 수정합니다.

MIT와 뉴욕대학교 연구진의 새로운 플랫폼은 이러한 격차를 줄이는 것을 목표로 하고 있습니다. MIT News에 따르면 FLEX라고 불리는 이 시스템을 통해 동작 계획 로봇은 인간의 명시적인 지시를 따르는 동시에 성능을 향상시키는 광범위한 일반화를 도출할 수 있습니다. 팀은 이번 달 연례 로봇 학습 컨퍼런스(CoRL)에서 연구 결과를 발표할 예정입니다. 이 이야기에 대한 자세한 내용은 AI 뉴스를 참조하세요.

MIT 컴퓨터 과학 및 인공 지능 연구소(CSAIL)의 박사후 연구원이자 연구 저자인 Nathan Dennler는 "LLM은 인터넷에서 너무 많은 텍스트를 보았습니다."라고 말했습니다. "사람들은 '아, 내 휴대폰이 물에 빠졌는데 이제 작동하지 않는다', '컴퓨터에 커피를 쏟았는데 이제 작동하지 않는다'라고 썼을 것입니다. 그래서 LLM은 액체와 장치가 작동하지 않는 결과를 낳는다는 생각을 받아들입니다."

하나의 경고부터 전체 규칙서까지

MIT News가 설명한 한 시연 시나리오에서 한 사람은 로봇 팔이 어수선한 테이블 위로 커피 컵을 운반하는 것을 보고 "노트북에 커피를 쏟지 마세요!"라는 명령을 입력합니다. 기존 로봇은 노트북을 회피 목록에 추가하고 경로를 다시 계획합니다. FLEX는 더 나아가 노트북이 왜 중요한지 이유를 설명하고 사용자가 언급하지 않은 휴대폰을 포함하여 근처의 전자 제품을 피하기 위해 궤적을 조정합니다.

Dennler는 "당신이 말하는 말 뒤에는 더 높은 수준의 의도가 있다는 생각입니다"라고 말했습니다. "사람들은 이것을 자연스럽게 이해합니다. 하지만 그것을 로봇에게 세심하게 설명해야 하기 때문에 시간과 노력이 필요합니다. FLEX는 로봇과의 소통 인터페이스를 제공하여 '사람들이 이것을 말하면 그것은 그것을 의미합니다.'"라고 말합니다.

이 연구는 CLEAR(Collaborative Learning and Autonomy Research) 연구소를 이끌고 있는 MIT 항공우주학 조교수인 Andreea Bobu가 주도했습니다. 공동 저자로는 2026년 MIT에서 SM 과정을 마친 Audrey Lee와 뉴욕 대학교의 Ilia Sucholutsky가 있습니다.

FLEX 작동 방식: 추가, 일반화, 마스크

FLEX는 약 5초 안에 실행되는 3단계 파이프라인으로 작동합니다.

1단계: 추가

사용자가 자연어 수정을 실행하면 로봇은 작업에 중요한 항목의 실행 목록에 관련 기능을 추가합니다. 누군가가 "내 머그컵에 떨어뜨리지 마세요!"라고 말하면 로봇이 볼링 공을 들고 있는 동안 머그는 회피 목록에 합류하고 로봇은 궤적을 업데이트합니다. 이 단계는 이전 방법이 항상 어떻게 작동했는지를 반영하며, 여기에서 문제가 시작됩니다.

Dennler는 MIT News에 "기능 목록이 너무 길어지고 환경이 변경되었기 때문에 일부 기능이 더 이상 관련이 없을 때 문제가 발생합니다."라고 말했습니다. 모든 물체를 개별적으로 피하라고 명령받은 로봇은 수정하는 것도 느려지고 계획하는 것도 느려지고, 계산의 부담은 인간에게 지게 됩니다.

2단계: 일반화

이것이 FLEX의 핵심 기여입니다. 팀이 구현한 대규모 언어 모델인 GPT-4o는 축적된 기능 목록을 검사하고 항목 간의 패턴을 검색합니다. 머그잔과 그 사람이 표시한 기타 깨지기 쉬운 물건을 마주한 LLM은 일반 수업을 추론합니다. 깨지기 쉬운 물건은 피하세요. 심지어 언급한 적이 없는 물건도 피하세요. 방대한 인간 텍스트 라이브러리를 기반으로 훈련된 모델이기 때문에 일상적인 상식의 상당 부분이 사전 설치되어 제공됩니다.

"LLM은 다양한 사람과 장소에서 인터넷을 통해 수많은 텍스트를 보았습니다."라고 Dennler는 말했습니다. "그들은 그런 것들에 대해 너무 많은 훈련을 받았기 때문에 상식 중 일부가 LLM에 흡수됩니다."

3단계: 마스크

실제 환경은 변화하고 오래된 규칙으로 인해 불규칙한 동작이 발생합니다. FLEX의 세 번째 단계에서는 로봇의 표준 컴퓨터 비전 시스템을 사용하여 플래그가 지정된 개체가 더 이상 존재하지 않는지 확인한 다음 기능 목록에서 해당 항목을 삭제하여 사람의 개입 없이 로봇의 제약 조건을 최신 상태로 유지합니다.

커피, 양초 및 볼링공 시뮬레이션에서 테스트됨

팀은 커피 한 잔 제공, 촛불 옮기기, 볼링 공 운반 등 세 가지 작업을 수행하는 로봇 팔의 시뮬레이션을 통해 FLEX를 평가했습니다. 자원봉사자들은 "노트북에 쏟지 마세요", "종이 뭉치에서 멀리 떨어지세요", "머그컵에 떨어뜨리지 마세요"와 같은 자연어 명령을 입력하여 가상 로봇과 상호 작용했습니다.

세 가지 시나리오 모두에서 로봇은 더 높은 수준에서 추론하는 동시에 문자 그대로 각 명령을 따랐습니다. 즉, 노트북에 대한 경고가 있을 때 전자 제품을 피하고, 양초를 보라고 할 때 가연성 물체를 피하고, 머그 경고가 한 번 울린 후 모든 깨지기 쉬운 품목을 낙하 금지 구역으로 처리했습니다.

상식이 가정용 로봇의 병목 현상인 이유

이 연구는 소비자 로봇 공학의 지속적인 장애물을 대상으로 합니다. 즉, 집에서 무엇이 중요한지 이미 알고 있는 로봇을 배송하는 사람은 아무도 없습니다. 물리학 기반 궤도 계획은 정확하지만 불투명하며 사용자가 수학적 비용 함수를 조작할 것으로 기대하는 것은 시작이 아닙니다.

"로봇은 수학을 사용하여 궤도를 계획합니다. 그러나 소비자가 로봇에게 무엇을 해야 할지 지시하기 위해 이 수학을 배우는 것을 기대할 수는 없습니다."라고 Dennler는 말했습니다. "사람들이 특정 방식으로 로봇을 사용하는 방법을 배우도록 하는 대신 자연어를 통해 로봇과 상호 작용하는 것이 목표입니다."

로봇공학 연구의 큰 부분은 이미 로봇 학습에 언어를 접목하여 작업 목표를 명확하게 하고, 궤적을 리디렉션하고, 안전한 경로를 정의하고 있습니다. 그러나 MIT News는 기존 방법이 주로 로봇에게 물리적으로 작업을 수행하는 방법을 알려주기 위해 언어를 사용한다고 지적합니다. Bobu의 그룹은 몇 가지 일상적인 명령에서 개인의 기본적이고 불특정 선호도를 추출하는 새로운 영역을 개척하고 있습니다.

Bobu는 MIT News에 "모든 사람의 집이 다르고 모든 사람이 서로 다른 것에 관심을 갖고 있기 때문에 어떤 로봇도 당신에게 중요한 것이 무엇인지 알고 나오지 않습니다"라고 말했습니다. "FLEX의 가장 흥미로운 점은 모든 규칙을 철자하라고 요구하는 대신 한두 문장에서 이를 선택할 수 있다는 점입니다. 이것이 바로 사람들이 참는 로봇과 실제로 집에 두고 싶은 로봇의 차이입니다."

다음에 나올 내용

"적응형 로봇 행동을 위한 유연한 언어 기반 표현 편집"이라는 논문에 자세히 설명된 이 작업은 MIT Generative AI Impact Consortium과 MIT Schwarzman College of Computing의 컴퓨팅에 대한 사회적 및 윤리적 책임 프로그램의 일부 지원을 받았습니다.

지금까지 표시된 결과는 시뮬레이션이며, 더 지저분한 인식, 더 시끄러운 언어 및 실제 결과를 통해 해당 성능을 물리적 하드웨어로 변환하는 것이 현장의 다음 장애물로 남아 있습니다. 그러나 방향은 분명합니다. 로봇이 공장 케이지에서 주방과 사무실로 이동함에 따라 성공하는 기계는 우리가 말하는 것뿐만 아니라 우리가 의미하는 바를 이해하는 기계일 수 있습니다.

이 기사는 2026년 11월 9일 MIT 뉴스에 게재된 제니퍼 추의 보도를 바탕으로 작성되었습니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →