Pada ketika makmal sempadan berlumba-lumba membina model trilion parameter yang mengisi pusat data, seorang pembangun telah pergi ke arah lain sepenuhnya: model bahasa menjawab soalan yang berfungsi yang sesuai pada cakera liut tunggal 1980-an dan berjalan pada CPU yang cukup lama untuk dihantar dalam 486DX.

Projek itu, yang dipanggil Tiny 2.1, telah dikesan oleh Hackaday dan diambil minggu ini oleh Futurism dan Tom's Hardware. Menurut halaman projek GitHubnya, keseluruhan model mempunyai berat kira-kira 380 KB berat 8-bit - cukup kecil untuk dimuatkan dengan selesa pada satu cakera liut berformat MS-DOS - dan memerlukan hanya 540 KB memori untuk dijalankan. Tom's Hardware melaporkan bahawa ia juga menyatakan jawapannya melalui pembesar suara PC yang sederhana. Jika anda menikmati cerita tentang AI yang melanggar jangkaan, perkembangan AI terkini kami merangkumi segala-galanya daripada inferens tepi hingga sistem sempadan trilion parameter.

Transformer Menjawab Soalan Dengan 367,000 Parameter

Tiny 2.1 ialah seni bina pengubah kecil dengan kira-kira 367,000 parameter — sebahagian kecil daripada saiz model "ringan" yang biasanya mengukur dalam berbilion rendah. Ia ditulis dalam Turbo C 2.0 dan berjalan pada MS-DOS, sistem pengendalian yang mendominasi pengkomputeran peribadi pada 1980-an dan awal 1990-an, menyasarkan mesin setua Intel 486DX dan generasi Pentium awal.

Data latihannya juga kecil: hanya 3,500 fakta. Kekangan itu mentakrifkan pengalaman menggunakannya. Dalam tangkapan skrin yang dikongsi pada halaman projek, model itu menjawab dengan betul bahawa ikan paus adalah mamalia dan bukannya ikan dan dengan betul mengkreditkan Alexander Graham Bell dengan mencipta telefon. Diminta untuk mengira 17 kali 23, bagaimanapun, ia menjawab "96." Dan ditanya siapa Raja Perancis, ia dengan yakin menjawab "Ia adalah Antarce Newton" — dengan tahap keyakinan 100 peratus.

Jangan Harapkan Prestasi Seperti Claude

Seperti yang dinyatakan oleh Futurisme secara terang-terangan, model itu "membuat jawapan hampir sepanjang masa," kerana ia tidak tahu banyak tentang dunia. Tiada lapisan dapatan semula, tiada penggunaan alat, tiada carian web — hanya rangkaian saraf padat dan apa sahaja corak yang diserap daripada set latihan 3,500 faktanya.

Perkara yang menjadikan projek itu ketara adalah kurang apa yang model boleh lakukan daripada apa yang ditunjukkan oleh kewujudannya. Inferens LLM moden dikaitkan dengan gigabait memori, pecutan GPU dan kilowatt kuasa. Tiny 2.1 sebaliknya membuktikan konsep bahawa pengubah boleh menghasilkan interaksi berstruktur, soal-jawab pada perkakasan tanpa unit titik terapung untuk dibicarakan, tiada keperluan pemacu keras melebihi liut, dan laluan output audio yang primitif seperti pembesar suara motherboard.

AI Dibina Dengan AI

Terdapat juga sentuhan meta. Menurut halaman projek, pembangun tidak menulis setiap baris dengan tangan: mereka menggunakan Anthropic's Fable 5.2 untuk membantu menulis kod model dan Opus 5.5 untuk menyokong proses latihan. Dalam erti kata lain, model yang cukup kecil untuk dimuatkan pada cakera liut sendiri telah dikarang dan dilatih dengan bantuan sistem AI skala sempadan - keturunan kecil ibu bapa yang sangat besar.

Aliran kerja itu mencerminkan trend yang lebih luas dalam kejuruteraan AI, di mana model besar semakin menjana, nyahpepijat dan mengoptimumkan sistem yang berjalan pada perkakasan yang lebih kecil. Corak yang sama muncul dalam rantaian alat edge-AI moden, di mana model skala awan membantu memampatkan dan mengukur rangkaian untuk telefon, mikropengawal dan peranti terbenam.

Mengapa Model Kecil Penting

Tiny 2.1 tidak akan mengancam mana-mana chatbot komersial. Tetapi projek seperti itu berfungsi sebagai peringatan berguna tentang sejauh mana pemampatan model telah dicapai - dan berapa banyak kembung adalah pilihan dan bukannya keperluan. Peminat pengkomputeran retro telah menghabiskan masa bertahun-tahun untuk menunjukkan bahawa perkakasan yang berusia berdekad-dekad masih mampu berfungsi secara mengejutkan, daripada Amigas yang berkeupayaan pelayar kepada mesin 8-bit rangkaian. Model bahasa yang menyertai keturunan itu adalah yang pertama, dan yang suka bermain.

Kekangan kejuruteraan yang membentuk Tiny 2.1 juga merupakan kursus ranap dalam kecekapan. Format berat 8-bit, perbendaharaan kata dan seni bina bersaiz untuk tugas, dan laluan output yang direka bentuk sekitar had perkakasan menambah kepada sistem yang setiap kilobait diambil kira. Bezakan dengan penggunaan arus perdana, di mana pengkuantitian, pemangkasan dan penyulingan adalah pembaikan retroaktif yang digunakan pada model yang dibina pada skala yang jauh lebih besar — ​​dan di mana satu sesi sembang boleh menggunakan lebih banyak memori daripada keseluruhan keperluan masa jalan Tiny 2.1, berat disertakan.

Ia juga tiba pada masa penelitian alam sekitar sebenar di sekitar selera kuasa AI, dengan penyelidik dan pengawal selia semakin menumpukan pada kos tenaga latihan dan inferens berskala besar, dan pergaduhan tapak pusat data yang berlaku di seluruh Amerika Syarikat. Model yang menggunakan memori 540 KB dan bekalan kuasa 1980-an bukanlah penyelesaian kepada masalah itu — tetapi ia adalah ilustrasi yang jelas bagi hujung spektrum yang lain: inferens dengan jejak yang diukur dalam watt, bukan megawatt. Pembaca yang menjejaki sejauh mana medan itu terbentang, daripada cakera liut ke kampus gigawatt, boleh menemui kedua-dua hujungnya dalam [berita terbaharu AI] kami(https://aibuzzwire.news).

Buat masa ini, pembuat Tiny 2.1 boleh menuntut pencapaian yang benar-benar jarang berlaku: rangkaian saraf yang boleh anda pasang daripada medium yang sama yang anda gunakan untuk menyimpan dokumen pemproses perkataan, pada mesin yang mendahului web. Ia berhalusinasi sentiasa, salah sebut identiti kerabat diraja Perancis dengan penuh keyakinan, dan tidak boleh mendarab nombor dua digit dengan pasti. Ia juga berjalan, sepenuhnya, pada cakera liut.

Kekal Mendahului AI

Daripada model cakera liut hingga ke makmal sempadan, kami menjejaki semuanya. Baca lebih banyak berita AI →