2인 연구실 Linum, 21,000달러에 텍스트-이미지 모델 훈련, Apache 2.0에서 가중치 출시

2인으로 구성된 연구실 Linum은 VAE를 건너뛰는 픽셀 공간 아키텍처를 사용하여 21,000달러에 2B 텍스트-이미지 모델을 교육하고 이를 Apache 2.0으로 출시했습니다.

2명으로 구성된 연구실에서는 대략 $21,000 비용으로 텍스트-이미지 모델을 교육하고 완전 허용 라이선스에 따라 출시했습니다. 공동 CEO인 Sahil Chopra와 Manu Chopra가 설립한 Linum은 11월 4일 기술 현장 노트 게시물에 더 큰 비디오 모델로 나아가는 과정에서 개념 증명으로 6억 6천만 개의 샘플을 훈련한 20억 매개변수 Pixel-JiT(P-JiT) 모델을 자세히 설명하는 결과를 발표했습니다. 모델 코드와 가중치 모두 제한 없이 상업적 사용을 허용하는 라이센스인 Apache 2.0**에 따라 제공됩니다. 이는 우리가 AI 연구 보도에서 따르는 주제인 최첨단 수준의 AI 연구에 실제로 비용이 얼마나 드는지에 대한 논쟁에서 놀라운 데이터 포인트입니다.

VAE를 건너뛰는 이유는 무엇입니까?

대부분의 최신 이미지 생성 파이프라인은 별도의 변형 자동 인코더(VAE)를 사용하여 이미지를 압축합니다. VAE는 이미지를 컴팩트한 잠재 공간으로 압축하고 확산 모델은 압축된 공간 내부에 생성됩니다. Linum의 팀은 이러한 노동 분업이 한계에 도달했다고 주장합니다. 그들의 글에서 그들은 VAE가 "달성할 수 있는 압축 양에 대해 경험적 상한선을 갖고 있는 것 같다"고 언급했으며, 압축을 더 높이려면 기존 아키텍처에 대한 상당한 수술이 필요하며, VAE 재구성을 개선하면 실제로 다운스트림 확산 모델의 세대가 악화될 수 있다는 점을 지적했습니다.

그들의 대답은 VAE를 완전히 제거하는 것입니다. P-JiT는 픽셀 공간 모델입니다 — 확산 모델은 픽셀에서 직접 작동하며 자체 사용 사례에 맞게 특별히 제작된 잠재 특성을 학습하여 동시에 압축하고 생성합니다. 단대단으로 훈련된 단일 모델은 두 개의 특수 네트워크 간의 핸드오프보다 동일한 컴퓨팅에서 더 많은 것을 짜낼 수 있다는 것입니다.

기술적인 보상

아키텍처의 이름은 피라미드 모양의 토큰화를 나타냅니다. 대부분의 최신 모델(Linum이 FLUX-2를 일반적인 예로 인용)에서 16×16 토큰 축소를 사용하는 반면, P-JiT는 이전에 256×256 이미지에 필요했던 토큰 예산에서 512×512 이미지를 나타내는 32×32 토큰 감소를 달성합니다. 이는 주의 컨텍스트 창의 4배 감소로 해석되며, 주의는 생성 비디오에 대한 훈련과 추론 모두 비용을 높이는 O(n²) 병목 현상입니다.

팀 자체 측정 결과: P-JiT는 더 표준적인 Wan VAE와 DiT 확산 레시피를 기반으로 구축된 연구소의 이전 모델인 Linum v2보다 11배 더 적은 샘플로 수렴됩니다. 21,000달러의 실행(6억 6천만 개의 훈련 샘플)은 팀이 크기에 비해 놀라울 정도로 유능하다고 설명하는 모델을 생성했습니다.

21,000달러에 구매한 것

이 릴리스에는 사람(57), 동물(42), 건물(20), 제품(43), 풍경(19) 및 스타일화된 렌더링(68)을 포괄하는 프롬프트와 함께 249개의 샘플 이미지가 포함되어 있습니다. 팀은 포지셔닝에 대해 솔직합니다. 이는 실제 목표인 비디오 모델을 향한 "실험적 릴리스"이자 "디딤돌"입니다. 샘플은 아키텍처가 품질 측면에서 프론티어 이미지 모델과 일치하는 것이 아니라 기존 교육 예산의 일부만으로 안정적으로 교육하고 일관된 이미지를 생성한다는 것을 보여줍니다.

이 글은 팀이 결과와 함께 실패 모드를 어떻게 문서화했는지에 대해서도 주목할 만합니다. 그들은 모델의 한계를 묻어두기보다는 현장 노트 포스트에 직접 열거합니다. 이는 마케팅 예산보다는 신뢰성에 평판이 좌우되는 소규모 연구실에서 점점 더 일반적인 관행입니다. 이 게시물은 팀의 "Road to Linum v3" 시리즈의 네 번째 항목으로, P-JiT 아키텍처가 처음 설명된 이전 반복을 기반으로 구축되었습니다. 이는 외부 연구자가 작동하지 않은 것을 포함하여 각 설계 결정을 추적할 수 있는 실행 기술 로그입니다.

비용 수치에 대한 맥락: Linum의 21,000달러는 2B 매개변수 모델의 6억 6천만 샘플 훈련 실행을 위한 컴퓨팅을 포함했습니다. 이는 중단된 여러 실행에 대한 데이터 수집, 인력 배치 및 실험을 포괄하는 최전방 연구실 예산과 직접적으로 비교할 수 없습니다. 이것이 확립한 것은 공개적으로 문서화된 한 번의 성공적인 훈련 실행에 대한 한계 비용입니다. 이제 다수의 개별 연구원과 대학 실험실이 현실적으로 계획을 세울 수 있습니다.

Linum이 밝힌 야망은 애니메이션에 대한 접근을 민주화하는 창의적인 도구입니다. 오늘날의 생성 비디오에 대한 팀의 비판은 너무 느리고 비용이 많이 들고 세밀한 제어가 부족하다는 것입니다. 창의적인 작업은 본질적으로 반복적이기 때문에 "스토리텔링에 효과적으로 쓸모가 없습니다"라고 주장하는 조합입니다. 만들고, 조정하고, 더 나아질 수 있습니다. 더 저렴한 교육과 더 빠른 추론은 실제로 편집 작업 흐름에 맞는 비디오 생성을 위한 전제 조건입니다.

소규모 실험실, 큰 신호

여기에 전시된 경제성은 하나의 스타트업을 넘어서는 문제입니다. 한때 수백만 달러로 측정된 해당 분야의 최전선을 정의한 교육 실행이 이제 좁은 영역에서 일반적인 수석 엔지니어의 연봉보다 적은 비용을 지출하는 두 명의 팀에 의해 일치되고 있습니다. 이 규모의 개방형 릴리스는 독립적인 연구자에게 기관의 지원 없이 프로덕션 등급 아키텍처를 감사하고, 미세 조정하고, 구축할 수 있는 능력을 제공합니다.

주의 사항은 공평합니다. 2B 텍스트-이미지 모델은 이미지 품질의 최전선과는 거리가 멀고 Linum의 융합 주장은 독립적으로 벤치마킹된 것이 아니라 자체 보고되었습니다. 그러나 릴리스는 완전히 재현 가능합니다(Apache 2.0의 코드 및 가중치). 이는 회의적인 사람이라면 누구나 주장을 직접 측정할 수 있음을 의미합니다. 단일 벤치마크보다 이것이 이와 같은 소규모 연구실 릴리스를 주목할 가치가 있게 만드는 이유입니다. 증거를 다운로드할 수 있습니다.