Op een moment dat grenslaboratoria racen om modellen met biljoen parameters te bouwen die datacentra vullen, is één ontwikkelaar de andere kant op gegaan: een werkend taalmodel dat vragen beantwoordt en dat op een enkele diskette uit de jaren 80 past en draait op een CPU die oud genoeg is om in een 486DX te worden geleverd.

Het project, genaamd Tiny 2.1, werd opgemerkt door Hackaday en deze week opgepikt door Futurism en Tom's Hardware. Volgens de GitHub-projectpagina weegt het hele model ongeveer 380 KB aan 8-bits gewichten – klein genoeg om comfortabel op één MS-DOS-geformatteerde diskette te passen – en heeft het slechts 540 KB geheugen nodig om te kunnen werken. Tom's Hardware meldt dat het zijn antwoorden zelfs via de eenvoudige pc-luidspreker uitspreekt. Als je houdt van verhalen over AI die de verwachtingen overtreft: onze laatste AI-ontwikkelingen bestrijken alles, van edge-inferentie tot grenssystemen met biljoen parameters.

Een vraag-antwoordtransformator met 367.000 parameters

Tiny 2.1 is een kleine transformatorarchitectuur met ongeveer 367.000 parameters – een fractie van de grootte van de ‘lichtgewicht’ modellen die doorgaans in de lage miljarden liggen. Het is geschreven in Turbo C 2.0 en draait op MS-DOS, het besturingssysteem dat personal computing domineerde in de jaren tachtig en begin jaren negentig, en was gericht op machines zo oud als de Intel 486DX en vroege Pentium-generaties.

De trainingsgegevens zijn dienovereenkomstig klein: slechts 3.500 feiten. Die beperking bepaalt de ervaring van het gebruik ervan. In een schermafbeelding die op de projectpagina wordt gedeeld, antwoordt het model terecht dat walvissen zoogdieren zijn en niet vissen, en schrijft Alexander Graham Bell terecht de uitvinder van de telefoon toe. Gevraagd om 17 keer 23 te berekenen, antwoordt het echter "96". En op de vraag wie de koning van Frankrijk is, antwoordt het vol vertrouwen: “Het was Antarce Newton” – met een betrouwbaarheidsniveau van 100 procent.

Verwacht geen Claude-achtige prestaties

Zoals het futurisme ronduit opmerkt, verzint het model 'vrijwel altijd antwoorden', omdat het simpelweg niet veel over de wereld weet. Er is geen ophaallaag, geen gereedschapsgebruik, geen zoeken op internet – alleen een compact neuraal netwerk en de patronen die het heeft geabsorbeerd uit zijn trainingsset van 3500 feiten.

Wat het project opmerkelijk maakt, is niet zozeer wat het model kan doen, als wel wat het bestaan ​​ervan aantoont. Moderne LLM-gevolgtrekking wordt geassocieerd met gigabytes aan geheugen, GPU-versnelling en kilowatt aan vermogen. Tiny 2.1 bewijst in plaats daarvan het concept dat een transformator gestructureerde vraag-en-antwoord-interactie op hardware kan produceren zonder noemenswaardige drijvende-komma-eenheid, zonder harde schijfvereisten behalve een floppy, en een audio-uitvoerpad dat zo primitief is als een moederbordluidspreker.

AI gebouwd met AI

Er is ook een meta-twist. Volgens de projectpagina heeft de ontwikkelaar niet elke regel met de hand geschreven: ze gebruikten Anthropic's Fable 5.2 om de code van het model te schrijven en Opus 5.5 om het trainingsproces te ondersteunen. Met andere woorden, een model dat klein genoeg was om op een diskette te passen, werd zelf geschreven en getraind met behulp van AI-systemen op grensniveau – een kleine afstammeling van zeer grote ouders.

Die workflow weerspiegelt een bredere trend in AI-engineering, waarbij grote modellen steeds vaker systemen genereren, debuggen en optimaliseren die op veel kleinere hardware draaien. Hetzelfde patroon komt naar voren in moderne edge-AI-toolchains, waar modellen op cloudschaal helpen bij het comprimeren en kwantiseren van netwerken voor telefoons, microcontrollers en ingebedde apparaten.

Waarom kleine modellen belangrijk zijn

Tiny 2.1 zal geen enkele commerciële chatbot bedreigen. Maar dit soort projecten dienen als een nuttige herinnering aan hoe ver de compressie van modellen is gekomen – en hoeveel opgeblazen gevoel eerder een keuze dan een noodzaak is. Liefhebbers van retrocomputers hebben jarenlang aangetoond dat decennia-oude hardware nog steeds verrassend werk kan leveren, van browsercompatibele Amiga's tot 8-bits-netwerkmachines. Een taalmodel dat zich aansluit bij deze lijn is een primeur, en een speels model.

De technische beperkingen die Tiny 2.1 hebben gevormd, zijn ook een spoedcursus in efficiëntie. Een 8-bits gewichtsformaat, een vocabulaire en architectuur die op de taak zijn afgestemd, en een uitvoerpad dat is ontworpen rond hardwarebeperkingen, zorgen samen voor een systeem waarin met elke kilobyte rekening wordt gehouden. Vergelijk dat eens met reguliere implementaties, waar kwantisering, snoeien en destillatie met terugwerkende kracht oplossingen zijn die worden toegepast op modellen die op veel grotere schaal zijn gebouwd – en waar een enkele chatsessie meer geheugen kan verbruiken dan de volledige Tiny 2.1-runtimebehoeften, inclusief gewichten.

Het komt ook terecht in een tijd van echt milieuonderzoek rond de machtshonger van AI, waarbij onderzoekers en regelgevers zich steeds meer richten op de energiekosten van grootschalige training en gevolgtrekkingen, en gevechten over de locatie van datacenters die zich in de Verenigde Staten afspelen. Een model dat draait op 540 KB geheugen en een voeding uit de jaren 80 is geen oplossing voor dat probleem, maar het is een levendige illustratie van de andere kant van het spectrum: gevolgtrekking met een voetafdruk gemeten in watt, niet in megawatt. Lezers die bijhouden hoe ver het veld zich uitstrekt, van floppy disks tot gigawattcampussen, kunnen beide kanten vinden in ons breaking AI news.

Voorlopig kan de maker van Tiny 2.1 aanspraak maken op een werkelijk zeldzame prestatie: een neuraal netwerk dat je kunt installeren vanaf hetzelfde medium dat je zou gebruiken om een ​​tekstverwerkerdocument op te slaan, op een machine die ouder is dan het web. Het hallucineert voortdurend, citeert met volledig vertrouwen de identiteit van het Franse koningshuis verkeerd en kan getallen van twee cijfers niet op betrouwbare wijze vermenigvuldigen. Het draait ook volledig op een diskette.

Blijf AI een stap voor

Van diskettemodellen tot grenslaboratoria, wij volgen het allemaal. Lees meer AI-nieuws →