Edge0은 2026년 11월 12일에 더 작은 Edge0-120B, 통합 추론 프레임워크 및 배포 도구와 함께 Edge0-145B를 오픈 소스로 공개했습니다. 스타트업은 Edge0-145B를 1,450억 개의 매개변수를 갖춘 최초의 오픈 소스 온디바이스 AI 모델이라고 설명하며, 최첨단 클라우드 모델과 경쟁할 수 있는 코딩, 추론 및 에이전트 기능을 소비자 하드웨어에 제공한다고 말합니다.

이 릴리스는 같은 날 Hacker News에서 219포인트까지 올랐으며, 서버 없이 실행되는 100B 이상의 매개변수 모델에 대한 전망은 로컬 추론을 따르는 개발자들로부터 상당한 관심을 끌었습니다. 이 이야기에 대한 자세한 내용은 AI 뉴스를 참조하세요.

노트북 관련 주장에 숨겨진 숫자

회사 발표에 따르면 Edge0-145B는 MacBook Pro와 같은 호환되는 개인 노트북에서 실행되며 다음과 같은 결과가 보고되었습니다.

  • 29GB 최대 메모리, 전용 서버가 없는 고급 소비자 컴퓨터에 적합할 정도로 낮음
  • 초당 1,100개 이상의 토큰이 미리 채워져 생성이 시작되기 전에 모델 프로세스에서 수십 페이지의 코드에 대한 메시지를 표시할 수 있습니다.
  • 초당 80개 이상의 토큰 디코딩, 회사에서는 사람이 읽는 것보다 더 빠르다고 기록함
  • 약 120W 일반 전력, 보고된 설정에서 스로틀링 없이 작동 유지
  • 128K ~ 256K 컨텍스트, 긴 입력에서 생성 속도는 본질적으로 변경되지 않습니다.

이 수치는 독립적인 테스트가 아닌 Edge0에서 자체적으로 게시한 벤치마크에서 나온 것이며, 회사는 개발자가 자신의 하드웨어에서 측정값을 재현할 수 있도록 전체 스택(가중치, 추론 프레임워크 및 배포 도구)을 출시했습니다.

온디바이스 모델이 소형으로 유지되는 이유

이번 발표에는 역사적으로 노트북에 대형 모델이 없었던 이유에 대한 유용한 맥락이 포함되어 있습니다. 2026년 9월 이전에는 메모리 제한으로 인해 대부분의 기기 내 모델이 매개변수 100억 개 미만으로 유지되었습니다. Apple Intelligence의 온디바이스 기반 모델에는 약 30억 개의 매개변수가 있는 반면 Google의 Gemini Nano는 1.8B 및 3.25B 버전으로 출시되었습니다.

제약 조건은 물리적입니다. 모든 생성 단계에서 모델 가중치를 메모리에서 읽어야 하며 운영 체제 및 기타 애플리케이션과 대역폭을 두고 경쟁해야 합니다. 공격적으로 압축된 35B 모델이라도 약 20GB의 메모리가 필요할 수 있는데, 이는 휴대폰이 할당할 수 있는 것보다 훨씬 많습니다.

Edge0의 이전 릴리스에서는 회사의 접근 방식이 어디로 향하고 있는지 보여주었습니다. Edge0-35B 휴대폰 모델은 최대 메모리가 2.5GB 미만으로 iPhone 18 Pro Max에서 초당 37개 이상의 토큰을 제공한다고 보고했습니다. Edge0-145B는 해당 모델의 약 4배에 달하는 매개변수를 가지고 있는 반면 노트북 구성은 28GB 메모리에서 디코딩 속도가 약 2배라고 보고합니다. 회사는 이러한 측정이 다양한 모델과 하드웨어에 적용된다는 점에 주의를 기울였습니다.

일을 마무리하는 도우미

기본 속도를 넘어 Edge0은 모델을 챗봇이 아닌 에이전트로 포지셔닝합니다. 이번 발표에서는 3D 장면, 게임, 하드웨어 프로그램, PCB 설계 등의 프로젝트에 대해 코드를 계획, 작성 및 실행하고, 오류를 디버깅하고, 결과를 시각적으로 확인하는 시스템에 대해 설명합니다.

이 회사는 코딩, 추론 및 지시 따르기 결과가 특정 프론티어 클라우드 모델과 경쟁력이 있다고 보고하지만 공개된 비교는 아직 독립적으로 검증되지 않았습니다. 벤더가 보고한 벤치마크와 마찬가지로 개발자는 프론티어 수준 패리티에 대한 결론을 내리기 전에 제3자 평가를 확인하기를 원할 것입니다.

개인 정보 보호 및 비용 논쟁

프레젠테이션은 클라우드 워크플로에 비해 세 가지 장점을 기반으로 합니다. 로컬 추론에는 토큰당 API 요금이 발생하지 않으며 민감한 데이터가 기기에 남아 있을 수 있으며 핵심 기능은 오프라인에서 계속 작동합니다. 규제된 데이터를 처리하는 기업과 대역폭이 제한된 환경의 개발자의 경우 이러한 속성이 호스팅된 프론티어 모델의 기본 기능보다 더 중요할 수 있습니다.

물론 하드웨어와 전기는 무료가 아닙니다. Edge0은 이를 직접적으로 인정하며 전력 수치가 배터리 수명과 열에 실질적인 영향을 미치는 까다로운 작업 부하를 실행하는 고성능 노트북과 비교할 수 있는 지속적인 ~120W 소비를 반영한다는 점을 지적합니다.

로컬 AI 생태계에 미치는 영향

발표와 함께 제공되는 분석에서는 휴대폰, 노트북 및 AI PC를 대상으로 하는 14개 연구소의 최소 1B 매개변수가 포함된 67개 공개 모델을 추적하며 그 궤적은 가파르다. 보고된 수치가 독립적인 검토에서도 유지된다면 Edge0-145B는 소비자 하드웨어가 호스팅할 수 있는 것, 즉 지금까지 사람들이 이미 소유한 컴퓨터에서 데이터 센터 GPU를 사용할 수 있도록 요구했던 모델 클래스의 단계적 변화를 의미할 것입니다.

경쟁사들도 같은 방향으로 움직이고 있다. Meta는 소비자 GPU에서 실행되도록 구축된 Muse Glimmer 개방형 에이전트 모델을 출시했으며 Apple의 Foundation Models 프레임워크는 온디바이스 추론에 대한 개발자의 관심을 다시 불러일으켰습니다. 차이점은 규모입니다. 현재 개방형 가중치 생태계에서는 노트북급 메모리 예산을 목표로 하는 145B 매개변수에 근접한 것은 없습니다.

이번 출시는 중앙화에 대한 논쟁이 심화되는 가운데 이루어졌습니다. 에이전트 결제 흐름을 추가하는 개인 정보 보호 중심 브라우저부터 로컬 우선 추론 프레임워크에 이르기까지 업계의 개방형 진영은 유능한 AI가 하이퍼스케일러의 데이터 센터에 존재할 필요가 없다고 주장하면서 2026년을 보냈습니다. Edge0-145B는 해당 주장에서 가장 공격적인 데이터 포인트입니다.

개발자는 회사 사이트를 통해 모델 가중치를 다운로드하거나 추론 프레임워크를 탐색하거나 Edge0 앱을 사용해 볼 수 있습니다. 벤치마크가 커뮤니티 조사에서 살아남는지 여부는 공개된 질문입니다. 그러나 재생산을 위해 전체 스택이 출시되었으므로 조사에는 오랜 시간이 걸리지 않습니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →