전 OpenAI 최고 기술 책임자인 Mira Murati가 설립한 AI 스타트업인 Thinking Machines Lab은 2026년 11월 20일에 새로운 개방형 가중치 모델인 Inkling 2 Mini를 출시했습니다. 이 모델은 회사에서 말하는 특이한 아키텍처를 기반으로 구축된 소형 모델로 매개변수 수보다 훨씬 뛰어납니다. 이 모델은 소비자 노트북에서 로컬로 실행할 수 있을 만큼 작으며 총 메모리 공간은 약 20GB입니다.

헤드라인 숫자는 크기 등급에 비해 눈에 띕니다. 회사 발표에 따르면 Inkling 2 Mini는 DeepSWE v1.1에서 48.2%의 작업을 해결하고 Vals Index v2.2에서 46.5%의 점수를 얻어 전체 매개변수가 1,000억 개 미만인 모든 개방형 가중치 모델을 주도합니다. 두 벤치마크 모두 현재 업계에서 가장 상업적으로 경쟁이 치열한 역량 영역 중 하나인 에이전트 코딩 능력을 측정합니다. 이 이야기에 대한 자세한 내용은 최신 AI 동향를 참조하세요.

루프형 변압기의 차이점

Inkling 2 Mini는 루프형 변압기입니다. 각 토큰을 모든 레이어에 정확히 한 번 전달하는 대신 모델은 토큰당 중간 레이어를 세 번 실행합니다. 실제로 모델은 더 많은 출력 토큰을 생성하지 않고도 문제에 더 많은 순차적 계산을 적용할 수 있습니다.

회사의 프레임은 루핑을 통해 모델이 추론을 기록하지 않고도 더 오랫동안 추론할 수 있다는 것입니다. 전통적인 사고 연쇄 추론은 눈에 보이는 중간 단계에 토큰을 소비합니다. 루핑은 대신 컴퓨팅을 소비합니다. 이는 토큰 수보다 추론 품질이 더 중요한 작업의 속도에 실질적인 영향을 미치며 에이전트 코딩이 바로 그러한 종류의 작업입니다.

내부적으로 Inkling 2 Mini는 총 264억 개의 매개변수와 토큰당 34억 개의 활성 매개변수를 갖춘 전문가 혼합 모델이며, 루프가 고려되면 토큰당 54억 개의 가중치 활성화가 포함됩니다. 대부분의 가중치는 학습되었으며 기본적으로 Nvidia가 데이터 센터 라인업 전반에 걸쳐 추진해 온 저정밀 형식인 NVFP4에 배포되었으며 마지막 4개 레이어는 MXFP8에 유지되었습니다. 공격적인 양자화와 작은 활성 매개변수 수의 조합으로 인해 모델은 노트북과 데스크톱 AI 시스템에 적합한 약 20GB의 공간으로 압축됩니다.

연구실에서는 M5 Pro 칩과 48GB 메모리를 탑재한 MacBook Pro에서 비행기 모드로 오프라인으로 실행되는 모델을 시연했으며, 여기서 몇 분 만에 플레이 가능한 비행 시뮬레이터를 구축했습니다.

모니터링 가능성의 절충안

이번 릴리스에는 벤치마크보다 더 중요할 수 있는 연구가 수반됩니다. 모델이 생각의 사슬을 토큰으로 표현하지 않고 루프를 통해 내부적으로 추론하는 경우 가시적 추론 텍스트는 모델이 실제로 수행하는 작업에 대한 충실한 창이 더 이상 작동하지 않습니다. 이는 일련의 사고를 모니터링하는 것이 사용 가능한 몇 안 되는 실용적인 감독 도구 중 하나가 된 AI 안전 연구에 영향을 미칩니다.

Inkling 2 Mini와 함께 Thinking Machines는 효과를 측정하기 위해 연구 전용 가변 루프 변형을 출시했습니다. 결과는 역량 측면에서는 고무적인 방향으로, 감독 측면에서는 복잡한 방향으로 바뀌었습니다. 일련의 사고 없이 완료된 작업에 대한 가변 루프 모델의 시간 범위는 단일 패스에서 16초에서 3개의 루프에서 37초로 향상되었으며 직렬 추론 벤치마크의 성능은 모델이 훈련된 것보다 두 배 많은 10개의 루프로 계속 향상되었습니다.

한편, 루프가 추가됨에 따라 가시적 사고 체인은 더 ​​짧아졌지만 회사에서는 전체적으로 가독성이 유지되었으며 루프 깊이가 증가함에 따라 에이전트 파괴 행위 테스트에서 모델이 더 높은 경향을 보이지 않았다고 보고했습니다. Thinking Machines는 이를 연구자가 사용할 수 있는 최초의 루프 아키텍처 모델 중 하나로 설명하며, 이번 릴리스는 안전 커뮤니티가 시뮬레이션된 설정이 아닌 실제 중량에 대한 모니터링 가능성을 연구할 수 있는 기회로 부분적으로 자리매김했습니다.

Sub-100B급 경쟁 플레이

벤치마크에서는 Inkling 2 Mini를 26B~31B 범위의 Gemma 4 모델, Qwen3.8-27B, Muse Glimmer 및 Ripple이라는 65B 미리 보기 모델을 포함하는 혼잡한 100B 미만 분야에 배치합니다. Thinking Machines는 배치 크기 1에서의 이론적 토큰 처리량을 인용하면서 자사 모델이 비슷한 성능을 보이는 경쟁사보다 더 빠르게 실행된다고 주장합니다.

1000억 달러 미만 부문은 두 가지 이유로 전략적으로 중요해졌습니다. 첫째, 기업이 민감한 데이터를 호스팅된 API로 전송하는 것을 꺼리면서 온디바이스 및 프라이빗 배포가 빠르게 성장하고 있습니다. 둘째, 로컬 추론을 위한 토큰별 경제학은 대규모 모델의 정제된 복사본보다 작고 공격적으로 양자화된 모델을 점점 더 선호합니다. 루핑 컴퓨팅을 통해 NVFP4에서 기본적으로 실행되는 26.4B MoE는 해당 시장에 대한 직접적인 대답입니다.

이 모델은 게시된 모델 카드와 함께 Hugging Face에서 사용할 수 있으며 Thinking Machines는 Tinker 미세 조정 플랫폼을 통해 액세스를 홍보하고 있습니다. 이번 릴리스와 연구실의 이전 Inkling 제품군 모델 사이에서 스타트업은 대부분의 첨단 연구실이 매개변수 및 데이터 확장에 계속 초점을 맞추고 있는 시점에 반복 스타일 컴퓨팅 확장에 대한 고유한 기술적 정체성을 구축하고 있습니다.

루핑이 주류 아키텍처가 되거나 틈새 시장으로 남아 있든, 이번 출시는 주목할만한 순간입니다. 가장 주목받는 AI 스타트업 중 하나는 더 많은 토큰이나 더 많은 매개변수가 아닌 토큰당 더 스마트한 계산이 다음 이득이 될 것이라고 확신하고 있습니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →