Öncü laboratuvarların veri merkezlerini dolduracak trilyon parametreli modeller oluşturmak için yarıştığı bir anda, bir geliştirici tamamen diğer yöne gitti: 1980'lerden kalma tek bir diskete sığan ve 486DX'in içinde taşınabilecek kadar eski bir CPU üzerinde çalışan, çalışan bir soru cevaplama dili modeli.
Tiny 2.1 adı verilen proje Hackaday tarafından fark edildi ve bu hafta Futurism ve Tom's Hardware tarafından satın alındı. GitHub proje sayfasına göre, modelin tamamı yaklaşık 380 KB 8 bitlik ağırlıkta (MS-DOS formatlı bir diskete rahatça sığacak kadar küçük) ve çalışması için yalnızca 540 KB belleğe ihtiyaç duyuyor. Tom's Hardware, yanıtlarını mütevazı PC hoparlörü aracılığıyla bile söylediğini bildiriyor. Yapay zekanın beklentileri kırmasıyla ilgili hikayelerden hoşlanıyorsanız, en son yapay zeka geliştirmelerimiz uç çıkarımlardan trilyon parametreli sınır sistemlerine kadar her şeyi kapsar.
367.000 Parametreli Soru-Cevap Transformatörü
Tiny 2.1, yaklaşık 367.000 parametreye sahip küçük bir transformatör mimarisidir; bu, genellikle düşük milyarlarla ölçülen "hafif" modellerin boyutunun çok küçük bir kısmıdır. Turbo C 2.0'da yazılmış ve 1980'lerde ve 1990'ların başında kişisel bilgisayarlara hakim olan işletim sistemi MS-DOS üzerinde çalışıyor ve Intel 486DX kadar eski ve Pentium nesillerinin ilk nesillerini hedefliyor.
Eğitim verileri de buna bağlı olarak çok küçüktür: yalnızca 3.500 gerçek. Bu kısıtlama, onu kullanma deneyimini tanımlar. Proje sayfasında paylaşılan bir ekran görüntüsünde model, balinaların balıktan ziyade memeliler olduğu yanıtını doğru bir şekilde veriyor ve Alexander Graham Bell'in telefonu icat ettiğini doğru bir şekilde gösteriyor. 17 çarpı 23'ü hesaplaması istendiğinde "96" yanıtını veriyor. Ve Fransa Kralı'nın kim olduğu sorulduğunda, yüzde 100'lük bir güven düzeyiyle, kendinden emin bir şekilde "Antarce Newton'du" yanıtını veriyor.
Claude Benzeri Performans Beklemeyin
Fütürizmin açıkça belirttiği gibi, model "hemen hemen her zaman yanıtlar üretiyor" çünkü dünya hakkında pek bir şey bilmiyor. Geri çağırma katmanı, araç kullanımı, web araması yok; yalnızca kompakt bir sinir ağı ve 3.500 olguluk eğitim setinden emdiği kalıplar var.
Projeyi dikkate değer kılan, modelin yapabileceklerinden çok, varlığının gösterdiği şeydir. Modern Yüksek Lisans çıkarımı gigabaytlarca bellek, GPU hızlandırma ve kilovatlık güçle ilişkilidir. Tiny 2.1 bunun yerine, bir transformatörün donanım üzerinde kayan nokta birimi olmadan, disketin ötesinde sabit sürücü gereksinimi olmadan ve anakart hoparlörü kadar ilkel bir ses çıkış yolu olmadan yapılandırılmış, soru-cevap etkileşimi üretebileceği konseptini kanıtlıyor.
Yapay Zeka ile Geliştirilen Yapay Zeka
Ayrıca bir meta bükülmesi de var. Proje sayfasına göre geliştirici her satırı elle yazmadı: model kodunun yazılmasına yardımcı olmak için Anthropic's Fable 5.2'yi ve eğitim sürecini desteklemek için Opus 5.5'i kullandı. Başka bir deyişle, bir diskete sığacak kadar küçük bir model, çok büyük ebeveynlerin küçük bir torunu olan sınır ölçekli yapay zeka sistemlerinin yardımıyla yazıldı ve eğitildi.
Bu iş akışı, büyük modellerin çok daha küçük donanımlarda çalışan sistemleri giderek daha fazla oluşturduğu, hatalarını ayıkladığı ve optimize ettiği yapay zeka mühendisliğindeki daha geniş bir eğilimi yansıtıyor. Aynı model, bulut ölçekli modellerin telefonlar, mikro denetleyiciler ve gömülü cihazlar için ağların sıkıştırılmasına ve nicelendirilmesine yardımcı olduğu modern uç yapay zeka araç zincirlerinde de ortaya çıkıyor.
Minik Modeller Neden Önemlidir
Tiny 2.1 hiçbir ticari chatbot'u tehdit etmeyecektir. Ancak bunun gibi projeler, model sıkıştırmanın ne kadar ilerlediğini ve şişkinliğin ne kadar zorunluluktan ziyade seçim olduğunu hatırlatan faydalı bir hizmet sunuyor. Retro-bilgi işlem meraklıları, tarayıcı özellikli Amigalardan ağ bağlantılı 8-bit makinelere kadar onlarca yıllık donanımın şaşırtıcı işler yapabildiğini göstermek için yıllarını harcadılar. Bu soyu birleştiren bir dil modeli bir ilk ve eğlencelidir.
Tiny 2.1'i şekillendiren mühendislik kısıtlamaları aynı zamanda verimlilik açısından da hızlandırılmış bir rotadır. 8 bitlik ağırlık formatı, göreve göre boyutlandırılmış bir kelime dağarcığı ve mimari ve donanım sınırlamaları çerçevesinde tasarlanmış bir çıktı yolu, her kilobaytın hesaba katıldığı bir sistem oluşturur. Bunu, niceleme, budama ve damıtmanın çok daha büyük ölçekte oluşturulan modellere uygulanan geriye dönük düzeltmeler olduğu ve tek bir sohbet oturumunun, ağırlıklar da dahil olmak üzere tüm Tiny 2.1 çalışma zamanı gereksinimlerinden daha fazla bellek tüketebildiği ana akım dağıtımlarla karşılaştırın.
Aynı zamanda, araştırmacıların ve düzenleyicilerin büyük ölçekli eğitim ve çıkarımın enerji maliyetine ve ABD genelinde devam eden veri merkezi konumlandırma kavgalarına giderek daha fazla odaklandığı, yapay zekanın güç iştahı etrafında gerçek bir çevresel incelemenin yapıldığı bir döneme denk geliyor. 540 KB bellek ve 1980'lerden kalma bir güç kaynağıyla çalışan bir model, bu soruna bir çözüm değil - ancak spektrumun diğer ucunun canlı bir örneğidir: megawatt değil, watt cinsinden ölçülen ayak iziyle çıkarım. Disketlerden gigawatt kampüslere kadar alanın ne kadar uzandığını takip eden okuyucular, her iki ucu da son dakika yapay zeka haberlerimizde bulabilirler.
Şimdilik, Tiny 2.1'in yaratıcısı gerçekten nadir bir başarıya imza atabilir: Bir kelime işlemci belgesini kaydetmek için kullandığınız ortamdan, web'den önce gelen bir makineye kurabileceğiniz bir sinir ağı. Sürekli halüsinasyon görüyor, Fransız kraliyet ailesinin kimliğini tam bir güvenle yanlış aktarıyor ve iki basamaklı sayıları güvenilir bir şekilde çarpamıyor. Ayrıca tamamen disket üzerinde çalışır.
Yapay Zekanın Önünde Olun
Disket modellerinden sınır laboratuvarlarına kadar her şeyi takip ediyoruz. Daha fazla AI haberini okuyun →
