最先端の研究機関が、データセンターを満たす数兆個のパラメータのモデルを構築しようと競い合っているとき、ある開発者はまったく逆の方向に進みました。それは、1980 年代のフロッピー ディスク 1 枚に収まり、486DX に搭載されていたほど古い CPU で動作する実用的な質問応答言語モデルです。
Tiny 2.1 と呼ばれるこのプロジェクトは、Hackaday によって発見され、今週 Futurism と Tom's Hardware によって取り上げられました。 GitHub のプロジェクト ページによると、モデル全体の重さは 8 ビット ウェイトで約 380 KB で、MS-DOS フォーマットのフロッピー ディスク 1 枚に十分収まるほどの小ささで、実行に必要なメモリはわずか 540 KB です。 Tom's Hardware の報告によると、その答えは、小型の PC スピーカーを通じても音声で伝えられます。期待を打ち破る AI に関する記事がお好きなら、エッジ推論から数兆パラメーターのフロンティア システムまで、あらゆるものをカバーする 最新の AI 開発 をご覧ください。
367,000 のパラメータを持つ質問応答トランスフォーマー
Tiny 2.1 は、約 367,000 個のパラメータを備えた小型のトランス アーキテクチャです。これは、通常数十億ドル前半で測定される「軽量」モデルのサイズのほんの一部です。これは Turbo C 2.0 で書かれており、1980 年代から 1990 年代初頭にパーソナル コンピューティングを支配したオペレーティング システムである MS-DOS 上で動作し、Intel 486DX や初期の Pentium 世代と同じくらい古いマシンを対象としています。
それに応じて、そのトレーニング データは小さく、わずか 3,500 個のファクトです。その制約によって、その使用エクスペリエンスが決まります。プロジェクトページで共有されたスクリーンショットでは、モデルはクジラは魚ではなく哺乳類であると正しく答え、電話の発明はアレクサンダー・グラハム・ベルであると正しく認めています。ただし、17 掛ける 23 を計算するように要求すると、「96」と答えます。そして、フランス国王は誰なのかと尋ねると、自信を持って「アンタルス・ニュートンでした」と100パーセントの信頼度で答えた。
クロードのようなパフォーマンスを期待しないでください
未来派が率直に指摘しているように、モデルは単に世界についてあまり知らないため、モデルは「ほぼ常に答えを作り上げる」のです。検索レイヤーも、ツールの使用も、Web 検索もありません。必要なのは、コンパクトなニューラル ネットワークと、その 3,500 件の事実のトレーニング セットから吸収したあらゆるパターンだけです。
このプロジェクトを注目すべきものにするのは、モデルができることよりも、モデルの存在が示すことです。最新の LLM 推論は、ギガバイトのメモリ、GPU アクセラレーション、キロワットの電力に関連しています。その代わりに、Tiny 2.1 は、浮動小数点ユニットを必要とせず、フロッピー以上のハードドライブ要件がなく、マザーボード スピーカーと同じくらい原始的なオーディオ出力パスを備えたハードウェア上で、トランスが構造化された質疑応答の対話を生成できるという概念を証明しています。
AI で構築された AI
メタ的な展開もあります。プロジェクト ページによると、開発者はすべての行を手書きしたわけではありません。モデルのコードの作成には Anthropic の Fable 5.2 を、トレーニング プロセスのサポートには Opus 5.5 を使用しました。言い換えれば、フロッピー ディスクに収まるほど小さなモデル自体が、フロンティア スケールの AI システム (非常に大きな親の小さな子孫) の支援を受けて作成され、トレーニングされたのです。
このワークフローは、大規模なモデルがより小型のハードウェアで実行されるシステムを生成、デバッグ、最適化することが増えている AI エンジニアリングの広範な傾向を反映しています。同じパターンが最新のエッジ AI ツールチェーンにも現れており、クラウド スケール モデルは、電話、マイクロコントローラー、組み込みデバイスのネットワークの圧縮と量子化に役立ちます。
小さなモデルが重要な理由
Tiny 2.1 は商用チャットボットを脅かすことはありません。しかし、このようなプロジェクトは、モデル圧縮がどこまで進んでいるのか、そしてどれほど肥大化するかが必然ではなく選択であることを思い出させるのに役立ちます。レトロ コンピューティング愛好家は、ブラウザ対応の Amiga からネットワーク接続された 8 ビット マシンに至るまで、数十年前のハードウェアが依然として驚くべき作業を実行できることを何年もかけて実証してきました。その系統に加わる言語モデルは初めてのものであり、遊び心のあるものです。
Tiny 2.1 を形作ったエンジニアリング上の制約は、効率性の短期集中コースでもあります。 8 ビットの重み形式、タスクに合わせてサイズ設定された語彙とアーキテクチャ、およびハードウェアの制限に基づいて設計された出力パスを合計すると、すべてのキロバイトが考慮されるシステムになります。これを、量子化、プルーニング、蒸留が、非常に大規模なスケールで構築されたモデルに適用される遡及的な修正である主流のデプロイメントと比較してください。また、単一のチャット セッションが、重みを含めた Tiny 2.1 ランタイム全体の必要量よりも多くのメモリを消費する可能性があります。
また、研究者や規制当局は大規模なトレーニングと推論にかかるエネルギーコストや、米国全土で繰り広げられているデータセンターの立地争いにますます注目しており、AIの電力需要をめぐる環境の厳しい監視が本格的に行われている時期でもある。 540 KB のメモリと 1980 年代の電源で動作するモデルは、その問題の解決策ではありません。しかし、これはスペクトルの対極、つまりメガワットではなくワットで測定されるフットプリントによる推論を鮮明に示しています。フロッピー ディスクからギガワットのキャンパスまで、この分野がどこまで広がっているかを追跡している読者は、AI ニュース速報 で両端を見つけることができます。
今のところ、Tiny 2.1 のメーカーは真に稀な成果を主張できます。それは、ワード プロセッサの文書を保存するために使用するのと同じ媒体から、Web よりも前のマシンにニューラル ネットワークをインストールできるということです。常に幻覚を起こし、フランス王族の身元を自信を持って誤って引用し、2 桁の数字を確実に掛け合わせることができません。また、完全にフロッピー ディスク上で実行されます。
AI の先を行く
フロッピー ディスク モデルからフロンティア ラボまで、すべてを追跡します。 AIニュースをもっと読む→
