W chwili, gdy pionierskie laboratoria ścigają się w budowaniu modeli o bilionach parametrów, które wypełnią centra danych, jeden z programistów poszedł całkowicie w innym kierunku: działający model języka odpowiedzi na pytania, który mieści się na jednej dyskietce z lat 80. XX wieku i działa na procesorze wystarczająco starym, aby można go było umieścić w 486DX.

Projekt o nazwie Tiny 2.1 został dostrzeżony przez Hackaday i w tym tygodniu przejęty przez Futurism i Tom's Hardware. Według strony projektu w GitHubie cały model waży około 380 KB 8-bitowej wagi — wystarczająco mały, aby zmieścić się na jednej dyskietce sformatowanej w systemie MS-DOS — i potrzebuje zaledwie 540 KB pamięci do działania. Tom's Hardware donosi, że udziela nawet odpowiedzi za pośrednictwem skromnego głośnika komputerowego. Jeśli lubisz historie o sztucznej inteligencji przekraczającej oczekiwania, nasze najnowsze osiągnięcia w zakresie sztucznej inteligencji obejmują wszystko, od wnioskowania brzegowego po systemy graniczne z bilionami parametrów.

Transformator odpowiadający na pytania z 367 000 parametrów

Tiny 2.1 to mała architektura transformatorowa z około 367 000 parametrów — to ułamek rozmiarów „lekkich” modeli, które zazwyczaj mierzą niewielkie miliardy. Został napisany w Turbo C 2.0 i działa na MS-DOS, systemie operacyjnym, który dominował w komputerach osobistych w latach 80. i na początku 90. XX wieku, atakując maszyny tak stare jak Intel 486DX i wczesne generacje Pentium.

Dane szkoleniowe są odpowiednio małe: zaledwie 3500 faktów. To ograniczenie definiuje doświadczenie korzystania z niego. Na zrzucie ekranu udostępnionym na stronie projektu modelka poprawnie odpowiada, że ​​wieloryby to ssaki, a nie ryby, i poprawnie przypisuje wynalezienie telefonu Alexandrowi Grahamowi Bellowi. Jednak zapytany o obliczenie 17 razy 23 odpowiada „96”. Na pytanie, kto jest królem Francji, z pewnością odpowiada: „To był Antarce Newton” – z poziomem pewności wynoszącym 100%.

Nie oczekuj wydajności na poziomie Claude’a

Jak bez ogródek zauważa Futuryzm, model „właściwie cały czas wymyśla odpowiedzi”, bo po prostu nie wie zbyt wiele o świecie. Nie ma warstwy wyszukiwania, nie ma użycia narzędzi, nie ma wyszukiwania w Internecie – tylko zwarta sieć neuronowa i wszelkie wzorce, które wchłonęła ze swojego zestawu szkoleniowego składającego się z 3500 faktów.

Tym, co czyni projekt godnym uwagi, jest nie tyle to, co model może zrobić, ile to, co pokazuje jego istnienie. Nowoczesne wnioskowanie LLM jest powiązane z gigabajtami pamięci, przyspieszeniem procesora graficznego i kilowatami mocy. Zamiast tego Tiny 2.1 potwierdza koncepcję, zgodnie z którą transformator może wytwarzać ustrukturyzowaną interakcję typu pytania i odpowiedzi na sprzęcie, bez jednostki zmiennoprzecinkowej, o której można by mówić, bez wymagań dotyczących dysku twardego poza dyskietką i ścieżką wyjściową audio tak prymitywną jak głośnik na płycie głównej.

Sztuczna inteligencja zbudowana z wykorzystaniem sztucznej inteligencji

Jest też meta-twist. Według strony projektu programista nie napisał każdej linijki ręcznie: użył Anthropic's Fable 5.2 do napisania kodu modelu i Opus 5.5 do wsparcia procesu uczenia. Innymi słowy, model wystarczająco mały, aby zmieścił się na dyskietce, został sam stworzony i wytrenowany przy pomocy pionierskich systemów sztucznej inteligencji – małego potomka bardzo dużych rodziców.

Ten przepływ pracy odzwierciedla szerszy trend w inżynierii sztucznej inteligencji, gdzie duże modele coraz częściej generują, debugują i optymalizują systemy działające na znacznie mniejszym sprzęcie. Ten sam wzorzec pojawia się w nowoczesnych łańcuchach narzędzi sztucznej inteligencji na krawędzi, gdzie modele w skali chmury pomagają kompresować i kwantyzować sieci dla telefonów, mikrokontrolerów i urządzeń wbudowanych.

Dlaczego małe modele mają znaczenie

Tiny 2.1 nie zagrozi żadnemu komercyjnemu chatbotowi. Jednak takie projekty służą jako przydatne przypomnienie, jak daleko zaszła kompresja modeli i jak bardzo wzdęcia są wyborem, a nie koniecznością. Entuzjaści komputerów retro spędzili lata pokazując, że sprzęt mający kilkadziesiąt lat nadal jest w stanie zaskoczyć pracę, od Amig obsługujących przeglądarkę po 8-bitowe maszyny połączone w sieć. Model językowy łączący tę linię jest pierwszym i zabawnym modelem.

Ograniczenia inżynieryjne, które ukształtowały Tiny 2.1, są także przyspieszonym kursem wydajności. 8-bitowy format wagi, słownictwo i architektura dostosowane do zadania oraz ścieżka wyjściowa zaprojektowana z uwzględnieniem ograniczeń sprzętowych składają się na system, w którym liczy się każdy kilobajt. Porównaj to z głównymi wdrożeniami, gdzie kwantyzacja, przycinanie i destylacja to poprawki z mocą wsteczną stosowane do modeli zbudowanych na znacznie większą skalę – i gdzie pojedyncza sesja czatu może zużywać więcej pamięci niż całe zapotrzebowanie środowiska wykonawczego Tiny 2.1, łącznie z wagami.

Pojawia się także w czasie rzeczywistej analizy środowiskowej dotyczącej apetytu AI na moc, a badacze i organy regulacyjne w coraz większym stopniu skupiają się na kosztach energii w przypadku szkoleń i wnioskowań na dużą skalę oraz sporach dotyczących lokalizacji centrów danych toczących się w całych Stanach Zjednoczonych. Model wyposażony w 540 KB pamięci i zasilacz z lat 80. XX w. nie jest rozwiązaniem tego problemu, ale stanowi wyraźną ilustrację drugiego końca spektrum: wnioskowania o mocy mierzonej w watach, a nie megawatach. Czytelnicy śledzący, jak daleko sięga to pole, od dyskietek po gigawatowe kampusy, mogą znaleźć oba końce w naszych najnowszych wiadomościach o sztucznej inteligencji.

Na razie twórca Tiny 2.1 może poszczycić się naprawdę rzadkim osiągnięciem: siecią neuronową, którą można zainstalować z tego samego nośnika, na którym zapisano dokument edytora tekstu, na maszynie starszej niż Internet. Ciągle ma halucynacje, z całkowitą pewnością błędnie cytuje tożsamość francuskiej rodziny królewskiej i nie potrafi wiarygodnie pomnożyć liczb dwucyfrowych. Działa również w całości na dyskietce.

Wyprzedź sztuczną inteligencję

Od modeli dyskietek po pionierskie laboratoria – śledzimy wszystko. Przeczytaj więcej aktualności o sztucznej inteligencji →