이스라엘 Rehovot에 있는 Weizmann Institute of Science의 연구원들은 fMRI 뇌 스캔만을 기반으로 사람이 보고 있는 것을 재구성하고 다른 방향의 이미지를 통해 사람의 뇌 활동을 예측할 수 있는 인공 지능 시스템을 구축했습니다. MIT Technology Review는 2026년 10월 1일에 보고했습니다.

컴퓨터 과학자 Michal Irani와 그녀의 동료들이 개발한 이 도구는 이전의 뇌 해독 노력과는 비교할 수 없는 정밀도로 보이는 이미지를 재현합니다. 나란히 비교하면 모델의 재구성은 장면의 일반적인 주제뿐만 아니라 그 구조, 위치 및 내용을 보존합니다. 이전 시스템의 지속적인 약점은 그럴듯한 바나나를 생성할 수 있지만 사람이 실제로 본 바나나는 거의 생성하지 않습니다. 이 이야기에 대한 자세한 내용은 최신 AI 동향를 참조하세요.

뇌 디코더의 작동 방식

이 시스템은 2개 분기의 "브레인 디코더"입니다. 한 가지는 프레임에 색상과 모양이 있는 이미지의 구조를 예측하고, 두 번째 가지는 접시 위의 바나나 다발과 같은 내용을 예측합니다. 그런 다음 결합된 예측은 최신 이미지 및 비디오 생성기 뒤에 있는 동일한 생성 AI 기술 제품군인 확산 모델을 조정하여 최종 재구성을 생성합니다.

팀은 공개적으로 사용 가능한 뇌 스캔 데이터에서 시작했습니다. 지원자들은 fMRI 스캐너에 누워 있는 동안 수백 개의 이미지를 보여줬습니다. 이 스캐너는 신경 활동의 대용으로 뇌를 통과하는 산소가 공급된 혈류를 추적합니다. Irani의 그룹은 고해상도 스캐너에서 캡처한 최신 데이터세트를 사용했는데, 여기서 각 활동 복셀은 표준 스캐너의 약 3입방밀리미터가 아닌 약 1입방밀리미터의 조직을 덮습니다.

빌린 데이터에 대한 교육

가장 큰 장애물은 데이터 부족이었습니다. 수천 장의 이미지를 보는 사람의 고해상도 fMRI 스캔은 드물며 모델에는 기존보다 훨씬 더 많은 것이 필요했습니다. 연구원들의 해결 방법은 두 번째 모델을 역으로 훈련시키는 것이었습니다. 이 모델은 사람에게 주어진 이미지가 표시될 경우 뇌 스캔이 어떻게 보일지 예측하는 인코더입니다.

인코더와 디코더를 서로 실행함으로써 팀은 사실상 무제한의 훈련 쌍을 생성할 수 있었습니다. 표범 사진으로 시작하여, 그것이 생성할 fMRI 활동을 예측하고, 해당 활동으로부터 이미지를 재구성하고, 불일치에 대해 두 모델을 개선합니다. Irani에 따르면 훈련 데이터의 약 70%는 스캔한 자원 봉사자에게 실제로 보여주지 않은 이미지에서 나온 것입니다.

이 접근 방식은 팀이 범용 두뇌 인코더라고 부르는 것을 생성했으며 그 효율성은 헤드라인 결과입니다. 이전 디코딩 도구는 일반적으로 새로운 사람에 맞게 보정하는 데 약 40시간의 fMRI 데이터가 필요했습니다. Irani의 디코더에는 약 1시간이 필요합니다. 스캐너 시간이 비싸기 때문에 중요한 차이입니다. 이번 연구에 참여하지 않은 UC 산타바바라 캠퍼스의 신경과학자인 토미 스프라그(Tommy Sprague)는 "우리 중 누구도 새로운 주제에 대해 40시간 동안 영상을 촬영할 여유가 없다"며 영상 촬영이 시간당 약 600~1,000달러에 달할 수 있다고 지적했다. 이번 연구 결과는 지난 9월 뉴욕에서 열린 인지 계산 신경과학 컨퍼런스에서 발표됐다.

옳은 것과 틀린 것

비교 테스트에서 이 도구는 이전에 설명한 뇌 해독 시스템보다 "상당한 차이로" 성능을 발휘했다고 Irani는 MIT Technology Review에 말했습니다. 그것은 틀림이 없습니다. 화상 통화를 통해 그녀는 시스템이 세 개의 샌드위치 더미로 재구성한 케이크 이미지와 같은 욕조에 비슷한 색깔의 염소로 돌아온 욕조 안의 개 이미지를 가리켰습니다.

여러 연구에 걸쳐 데이터를 통합함으로써 팀은 개인 간에 기능을 공유하는 것으로 보이는 뇌 영역을 식별했습니다. 한 영역은 음식 이미지에 반응하고 다른 영역은 스포츠에 반응했습니다. Irani는 현재 신경과학자와 협력하여 뇌가 의미를 보다 체계적으로 구성하는 방법을 파악하는 도구를 사용하고 있다고 말합니다.

의학에 대한 약속

가장 즉각적인 희망은 임상적이다. Irani는 이 접근 방식이 궁극적으로 감금 증후군(말하거나 움직일 수 없는 완전히 마비된 환자)이 뇌 활동만을 사용하여 의사소통하는 데 도움이 될 수 있다고 믿습니다. 그녀는 또한 꿈과 PTSD 플래시백의 감각적 콘텐츠를 포함하여 상상된 콘텐츠를 재구성하려는 장기적인 목표를 가지고 정적 이미지를 넘어 비디오 및 오디오로 기술을 확장하고자 합니다.

이번 연구에 참여하지 않은 브리티시컬럼비아대학교 신경윤리학자이자 신경학 교수인 주디 일레스(Judy Illes)는 이 연구가 "훌륭하다"고 평가했습니다. 그녀는 MIT Technology Review에 "신경학적 질환이 있는 사람들을 치료적으로 돕기 위한 이 접근법을 사용한다는 아이디어는 엄청나게 흥미롭습니다."라고 말했습니다.

개인정보 문제

동일한 정확성은 이 분야가 오랫동안 두려워했던 전망, 즉 의미 있는 동의 없이 사람의 정신적 이미지를 추출하는 가능성을 높입니다. "결과는 매우 인상적인 것 같습니다"라고 Sprague는 말했습니다. "하지만 당신이 생각하고 있는 것에 대한 정보를 은밀하게 추출할 수 있는 방법이 있다면... 150년의 공상과학은 언제든지 현실이 될 수 있고, 그것은 여러모로 걱정스럽습니다."

이러한 우려는 현재로서는 물리학에 국한되어 있습니다. 시스템을 사용하려면 사람이 여러 톤의 fMRI 자석 안에 몇 시간 동안 누워 있어야 하며, 이전의 모든 디코더에는 사람별로 광범위한 보정이 필요했습니다. 그러나 교정 요구 사항은 Irani 팀이 방금 수십 배로 줄인 것입니다. 이것이 바로 윤리학자들이 연구 혁신이기도 한 도구에 관심을 기울이고 있는 이유입니다.

Weizmann 그룹의 다음 목표인 움직이는 이미지와 사운드, 그리고 상상하고 꿈꾸는 콘텐츠는 스캐너 연구실의 세심하게 통제된 조건 밖에서 기술의 정확성이 유지되는지 테스트할 것입니다. 만약 그렇다면 의료 적용과 개인 정보 보호 논쟁이 함께 확대될 것입니다.

빠르게 변화하는 분야

뇌 디코딩은 더 나은 스캐너, 더 큰 공유 데이터 세트 및 거친 신호에서 현실적인 세부 사항을 채울 수 있는 생성 모델에 힘입어 흐릿하고 거의 인식할 수 없는 근사치에서 구조적으로 충실한 재구성으로 10년 이내에 발전했습니다. 데이터 병목 현상을 해결하기 위해 양방향 인코더-디코더 루프를 사용하는 Weizmann의 기여는 새로운 하드웨어에 의존하지 않기 때문에 빠르게 확산되는 일종의 엔지니어링 통찰력입니다. 다른 연구소에서도 훈련 계획을 복제할 것으로 예상하고, 누가 신경 데이터를 제어하고 동의하는지에 대한 질문이 AI 정책의 가장자리에서 중앙으로 이동할 것으로 예상합니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →