선도적인 연구실이 데이터 센터를 채우는 1조 개의 매개변수 모델을 구축하기 위해 경쟁하고 있는 순간, 한 개발자는 완전히 다른 방향으로 나아갔습니다. 즉, 1980년대 플로피 디스크 하나에 맞고 486DX에 탑재될 만큼 오래된 CPU에서 실행되는 작동하는 질의 응답 언어 모델입니다.

Tiny 2.1이라고 불리는 이 프로젝트는 Hackaday에 의해 발견되었으며 이번 주 Futurism과 Tom's Hardware에 의해 선정되었습니다. GitHub 프로젝트 페이지에 따르면 전체 모델의 무게는 약 380KB의 8비트 무게로 MS-DOS 형식의 플로피 디스크 하나에 편안하게 들어갈 수 있을 만큼 작으며 실행하는 데 540KB의 메모리만 필요합니다. Tom's Hardware는 겸손한 PC 스피커를 통해 그 답을 말하기도 한다고 보고합니다. AI에 대한 기대를 깨는 이야기를 좋아하신다면 당사의 최신 AI 개발에서 에지 추론부터 1000조 매개변수 프론티어 시스템까지 모든 것을 다룹니다.

367,000개의 매개변수를 갖춘 질문 응답 변환기

Tiny 2.1은 약 367,000개의 매개변수를 갖춘 소형 트랜스포머 아키텍처입니다. 이는 일반적으로 수십억 개 미만으로 측정되는 "경량" 모델 크기의 일부에 불과합니다. 이는 Turbo C 2.0으로 작성되었으며 Intel 486DX 및 초기 Pentium 세대만큼 오래된 시스템을 대상으로 1980년대와 1990년대 초 개인용 컴퓨팅을 지배했던 운영 체제인 MS-DOS에서 실행됩니다.

이에 따라 훈련 데이터도 매우 작습니다. 사실이 3,500개에 불과합니다. 해당 제약 조건은 이를 사용하는 경험을 정의합니다. 프로젝트 페이지에 공유된 스크린샷에서 모델은 고래가 물고기가 아니라 포유류라는 사실에 정확하게 답하고 알렉산더 그레이엄 벨이 전화를 발명한 공로를 정확하게 인정합니다. 그러나 17 곱하기 23을 계산하라고 요청하면 "96"이라고 대답합니다. 그리고 프랑스의 왕이 누구인지 물었을 때, "Antarce Newton이었습니다"라고 자신 있게 대답했습니다. 신뢰 수준은 100%입니다.

클로드 같은 성능을 기대하지 마세요

미래주의가 직설적으로 언급했듯이 모델은 "거의 항상 답변을 구성합니다". 왜냐하면 모델은 단순히 세상에 대해 많이 알지 못하기 때문입니다. 검색 계층도 없고, 도구 사용도 없고, 웹 검색도 없습니다. 단지 컴팩트한 신경망과 3,500개의 사실 훈련 세트에서 흡수한 모든 패턴만 있을 뿐입니다.

프로젝트를 주목할 만한 것으로 만드는 것은 모델이 할 수 있는 것보다 모델의 존재가 보여주는 것입니다. 최신 LLM 추론은 기가바이트급 메모리, GPU 가속, 킬로와트 전력과 관련이 있습니다. 대신 Tiny 2.1은 부동 소수점 장치가 없고 플로피 외에 하드 드라이브 요구 사항이 없으며 마더보드 스피커만큼 원시적인 오디오 출력 경로가 없는 하드웨어에서 변압기가 구조화된 질문 및 답변 상호 작용을 생성할 수 있다는 개념을 입증합니다.

AI로 구축된 AI

메타 트위스트도 있습니다. 프로젝트 페이지에 따르면 개발자는 모든 라인을 손으로 작성하지 않았습니다. Anthropic의 Fable 5.2를 사용하여 모델 코드를 작성하고 Opus 5.5를 사용하여 훈련 프로세스를 지원했습니다. 즉, 플로피 디스크에 들어갈 만큼 작은 모델 자체가 매우 큰 부모의 작은 자손인 프론티어 규모 AI 시스템의 도움을 받아 작성되고 훈련되었습니다.

이러한 워크플로는 대규모 모델이 훨씬 더 작은 하드웨어에서 실행되는 시스템을 점점 더 생성, 디버깅 및 최적화하는 AI 엔지니어링의 광범위한 추세를 반영합니다. 클라우드 규모 모델이 휴대폰, 마이크로 컨트롤러 및 임베디드 장치용 네트워크를 압축하고 양자화하는 데 도움이 되는 최신 엣지 AI 도구 체인에도 동일한 패턴이 나타납니다.

작은 모델이 중요한 이유

Tiny 2.1은 상업용 챗봇을 위협하지 않습니다. 그러나 이와 같은 프로젝트는 모델 압축이 얼마나 멀리 왔는지, 그리고 얼마나 많은 부풀림이 필수가 아닌 선택인지를 상기시켜 주는 유용한 역할을 합니다. 레트로 컴퓨팅 애호가들은 브라우저 지원 Amigas부터 네트워크로 연결된 8비트 시스템에 이르기까지 수십 년 된 하드웨어가 여전히 놀라운 작업을 수행할 수 있음을 입증하는 데 수년을 보냈습니다. 그 계보에 합류하는 언어 모델은 처음이자 재미있는 모델입니다.

Tiny 2.1을 형성한 엔지니어링 제약 사항은 효율성 측면에서도 충돌 과정입니다. 8비트 가중치 형식, 작업에 맞는 어휘 및 아키텍처, 하드웨어 제한을 중심으로 설계된 출력 경로가 모든 킬로바이트를 처리하는 시스템에 추가됩니다. 양자화, 정리 및 증류가 훨씬 더 큰 규모로 구축된 모델에 적용되는 소급 수정이며 단일 채팅 세션이 전체 Tiny 2.1 런타임 요구 사항(가중치 포함)보다 더 많은 메모리를 소비할 수 있는 주류 배포와는 대조적입니다.

이는 또한 AI의 전력 수요에 대한 실제 환경 조사가 진행되는 시점에 이루어지며, 연구원과 규제 기관은 대규모 교육 및 추론의 에너지 비용에 점점 더 초점을 맞추고 미국 전역에서 진행되는 데이터 센터 위치 선정 싸움을 진행하고 있습니다. 540KB 메모리와 1980년대 전원 공급 장치에서 실행되는 모델은 이 문제에 대한 해결책은 아니지만 스펙트럼의 반대쪽 끝, 즉 메가와트가 아닌 와트 단위로 측정된 공간을 통한 추론을 생생하게 보여줍니다. 플로피 디스크에서 기가와트 캠퍼스에 이르기까지 해당 분야가 얼마나 멀리 뻗어 있는지 추적하는 독자들은 AI 속보에서 양쪽 끝을 찾을 수 있습니다.

현재 Tiny 2.1의 제작자는 정말 희귀한 성과를 거두었다고 주장할 수 있습니다. 즉, 웹 이전의 컴퓨터에서 워드 프로세서 문서를 저장하는 데 사용하는 것과 동일한 매체에서 신경망을 설치할 수 있다는 것입니다. 그것은 끊임없이 환각을 일으키고, 프랑스 왕족의 신원을 완전히 자신감 있게 잘못 인용하며, 두 자리 숫자를 확실하게 곱할 수 없습니다. 또한 플로피 디스크에서도 완전히 실행됩니다.

AI보다 앞서 나가세요

플로피 디스크 모델부터 개척 연구실까지 모든 것을 추적합니다. AI 뉴스 자세히 보기 →