Sebuah proyek sumber terbuka telah memasukkan model bahasa dengan 28,9 juta parameter ke dalam mikrokontroler dengan biaya sekitar $8, menghasilkan teks seluruhnya di dalam chip dengan kecepatan sekitar sembilan token per detik tanpa koneksi jaringan sama sekali. Demonstrasi tersebut, yang dipublikasikan di GitHub dan dengan cepat muncul di halaman depan Hacker News, menunjukkan seberapa jauh kemajuan AI lokal dalam skala kecil hanya dalam waktu singkat.
Pekerjaannya berpusat pada ESP32-S3, sebuah chip tertanam murah yang populer di kalangan penghobi dan pembuat perangkat keras. Menjalankan model dengan 28,9 juta parameter pada sepotong kecil silikon mungkin tampak mustahil beberapa waktu lalu, dan proyek ini menawarkan ilustrasi yang jelas tentang dorongan yang lebih luas terhadap AI pada perangkat yang kami lacak dalam [cakupan industri AI] harian kami (https://aibuzzwire.news). Ketika cloud dulunya dianggap wajib untuk model bahasa nyata apa pun, sistem yang semakin mampu kini menjadi solusinya.
Angka dibalik build
Proyek ini menjabarkan spesifikasinya dengan jelas. Model ini menyimpan 28,9 juta parameter, dimana sekitar 25 juta berada dalam tabel pencarian flash. Ini berjalan pada chip ESP32-S3 dengan SRAM cepat 512KB, PSRAM 8MB, dan penyimpanan flash 16MB. Dalam praktiknya, ini mencapai sekitar 9,5 token per detik dari ujung ke ujung, atau 9,7 token per detik komputasi murni, dan keseluruhan model hanya menempati 14,9 megabita bila disimpan pada presisi 4-bit.
Yang paling mencolok adalah perbandingan yang penulis buat dengan karya sebelumnya. Model bahasa terakhir yang diketahui berjalan pada sebuah chip di kelas ini hanya memiliki 260.000 parameter. Versi baru ini dapat menampung sekitar seratus kali lebih banyak, sebuah lompatan yang tidak berasal dari chip yang lebih besar tetapi dari pemikiran ulang di mana data model sebenarnya berada.
Trik memori yang dipinjam dari Gemma
Masalah intinya adalah mikrokontroler hampir tidak memiliki memori yang cepat. ESP32-S3 hanya menawarkan SRAM 512KB, dan secara konvensional seluruh model harus dapat dijangkau dari sana, itulah sebabnya upaya sebelumnya terhenti pada beberapa ratus ribu parameter.
Solusinya bertumpu pada observasi sederhana. Sebagian besar parameter model bahasa berada dalam tabel penyematan, yang kemudian dibaca oleh model, bukan dihitung. Jadi, alih-alih memaksakan tabel berukuran 25 juta baris itu ke dalam memori cepat yang langka, proyek ini membiarkannya dalam penyimpanan flash yang lambat dan hanya menarik beberapa baris yang benar-benar dibutuhkan setiap token, sekitar 450 byte dalam satu waktu. Sebagian kecil model yang melakukan komputasi sebenarnya tetap berada di memori cepat, sementara sebagian besar bobot hanya menunggu dalam sekejap, diambil sampelnya sedikit demi sedikit.
Teknik tersebut dikenal sebagai Per-Layer Embeddings, dan berasal dari model Gemma Google, khususnya Gemma 3n dan Gemma 4, yang dirancang untuk ponsel dan GPU. Menurut penulis proyek, belum pernah ada orang yang mencoba pendekatan ini pada chip sekecil ini.
Apa yang bisa dilakukan dan apa yang tidak bisa dilakukan
Model tersebut dilatih di TinyStories, kumpulan data cerita anak-anak sederhana, sehingga kemampuannya sengaja dipersempit. Ia menulis cerita pendek, sebagian besar koheren, tetapi tidak akan menjawab pertanyaan faktual, mengikuti instruksi yang rumit, menulis kode, atau bernalar tentang dunia. Penulis berterus terang bahwa keterbatasan ini berasal dari kecilnya porsi penalaran model, dan trik memori tidak mengubahnya.
Oleh karena itu, yang membuat proyek ini menarik bukanlah kualitas keluarannya, melainkan arsitekturnya. Pencapaian ini adalah memasangkan model sebesar ini ke dalam chip sekecil ini, membuktikan bahwa teknik yang sama yang menggerakkan model efisien pada ponsel dan server dapat diterapkan hingga ke perangkat keras yang harganya lebih murah daripada harga sandwich.
Mengapa AI pada perangkat penting
Implikasinya jauh melampaui demo teknis yang rapi. Karena model berjalan sepenuhnya pada chip, tidak ada yang dikirim ke server. Artinya, privasi total berdasarkan konstruksi, tidak ada data yang keluar dari perangkat, dan tidak ada tagihan cloud yang harus dibayar. Untuk aplikasi di daerah terpencil, perangkat berdaya rendah, atau pengaturan di mana konektivitas tidak dapat diandalkan, kombinasi tersebut sangat berguna.
Hal ini juga menunjukkan masa depan di mana model-model kecil dan terspesialisasi didistribusikan ke miliaran perangkat tertanam yang murah dibandingkan terkonsentrasi di beberapa pusat data raksasa. Tekanan yang sama mendorong minat terhadap AI lokal pada laptop dan ponsel, yaitu latensi yang lebih rendah, biaya yang lebih rendah, dan privasi yang lebih kuat, bahkan berlaku lebih kuat lagi pada skala mikrokontroler.
Undangan terbuka untuk bermain-main
Proyek ini dirilis di bawah lisensi MIT yang permisif, dan penulis telah membagikan kode lengkapnya di GitHub bersama dengan dokumentasi terperinci dan hasil benchmark. Keterbukaan tersebut berarti pengembang perangkat keras lain dapat mempelajari pendekatan tersebut, mengadaptasinya ke chip lain, atau meningkatkan jumlah parameter lebih tinggi lagi.
Dirilis di bawah nama slvDev, karya ini mendapat tanggapan kuat dari komunitas pengembang, mengumpulkan ratusan suara positif di Hacker News dan mendorong diskusi tentang ke mana teknik ini akan dibawa selanjutnya. Jika tren ini terus berlanjut, batas antara "model bahasa" dan perangkat lunak biasa akan semakin kabur.
Tetap Terdepan dalam AI
Dari chip seharga $8 hingga pusat data bernilai miliaran dolar, pertanyaan tentang di mana AI berjalan menjadi sama pentingnya dengan apa yang dapat dilakukan AI. Lapisan perangkat keras berkembang lebih cepat dari yang disadari kebanyakan orang, dan proyek-proyek yang tampak aneh saat ini sering kali menentukan arus utama masa depan. Baca berita AI selengkapnya di AI Buzz Wire untuk mengikuti setiap terobosan dalam komputasi edge, efisiensi model, dan kecerdasan pada perangkat.
Ikuti revolusi perangkat keras AI — kunjungi AI Buzz Wire
