Ein Sprachmodell mit 28,9 Millionen Parametern läuft jetzt auf einem 8-Dollar-Mikrocontroller

Ein Open-Source-Projekt hat ein Sprachmodell mit 28,9 Millionen Parametern auf einen Mikrocontroller gepresst, der etwa 8 US-Dollar kostet, und Text vollständig auf dem Chip mit etwa neun Token pro Sekunde generiert, ohne dass überhaupt eine Netzwerkverbindung erforderlich ist. Die Demonstration, die auf GitHub veröffentlicht wurde und schnell die Titelseite von Hacker News erklimmt, zeigt, wie weit sich die Grenzen kleiner, lokaler KI in nur kurzer Zeit verschoben haben.

Im Mittelpunkt der Arbeit steht der ESP32-S3, ein kostengünstiger eingebetteter Chip, der bei Bastlern und Hardware-Herstellern beliebt ist. Die Ausführung eines 28,9-Millionen-Parameter-Modells auf einem so kleinen Stück Silizium wäre vor nicht allzu langer Zeit unplausibel erschienen, und das Projekt bietet ein anschauliches Beispiel für den umfassenderen Vorstoß in Richtung On-Device-KI, den wir in unserer täglichen KI-Branchenberichterstattung verfolgen. Wo die Cloud einst für jedes echte Sprachmodell obligatorisch schien, finden immer leistungsfähigere Systeme am Rande ihr Zuhause.

Die Zahlen hinter dem Build

Das Projekt legt seine Spezifikationen klar dar. Das Modell speichert 28,9 Millionen Parameter, von denen etwa 25 Millionen in einer Flash-Lookup-Tabelle gespeichert sind. Es läuft auf einem ESP32-S3-Chip mit 512 KB schnellem SRAM, 8 MB PSRAM und 16 MB Flash-Speicher. In der Praxis erreicht es etwa 9,5 Token pro Sekunde von Ende zu Ende oder 9,7 Token pro Sekunde bei reiner Rechenleistung, und das gesamte Modell belegt nur 14,9 Megabyte, wenn es mit 4-Bit-Präzision gespeichert wird.

Am auffälligsten ist der Vergleich, den der Autor mit früheren Arbeiten zieht. Das letzte bekannte Sprachmodell, das auf einem Chip dieser Klasse lief, enthielt nur 260.000 Parameter. Der neue Build fasst ungefähr das Hundertfache, ein Sprung, der nicht auf einen größeren Chip zurückzuführen ist, sondern auf ein Umdenken, wo die Daten des Modells tatsächlich gespeichert sind.

Ein von Gemma übernommener Gedächtnistrick

Das Kernproblem besteht darin, dass ein Mikrocontroller fast keinen schnellen Speicher hat. Der ESP32-S3 bietet nur 512 KB SRAM, und herkömmlicherweise müsste das gesamte Modell von dort aus erreichbar sein, weshalb frühere Versuche bei einigen hunderttausend Parametern stecken blieben.

Die Problemumgehung beruht auf einer einfachen Beobachtung. Die meisten Parameter eines Sprachmodells befinden sich in einer Einbettungstabelle, aus der das Modell liest, anstatt sie zu berechnen. Anstatt also diese enorme 25-Millionen-Zeilen-Tabelle in den knappen schnellen Speicher zu zwingen, belässt das Projekt sie im langsamen Flash-Speicher und ruft nur die Handvoll Zeilen ab, die jedes Token tatsächlich benötigt, etwa 450 Bytes auf einmal. Der kleine Teil des Modells, der die eigentliche Berechnung durchführt, bleibt im schnellen Speicher, während der Großteil der Gewichte einfach im Flash wartet und nach und nach abgetastet wird.

Diese Technik ist als Per-Layer Embeddings bekannt und hat ihren Ursprung bei den Gemma-Modellen von Google, insbesondere Gemma 3n und Gemma 4, wo sie für Telefone und GPUs entwickelt wurde. Laut dem Autor des Projekts hatte noch niemand diesen Ansatz auf einem so kleinen Chip ausprobiert.

Was es kann und was nicht

Das Modell wurde auf TinyStories trainiert, einem Datensatz einfacher Kindergeschichten, daher sind seine Fähigkeiten bewusst eingeschränkt. Es schreibt kurze, größtenteils zusammenhängende Geschichten, beantwortet jedoch keine sachlichen Fragen, befolgt keine komplexen Anweisungen, schreibt keinen Code und argumentiert nicht über die Welt. Der Autor gibt offen zu, dass diese Einschränkung auf den kleinen Argumentationsteil des Modells zurückzuführen ist und dass der Speichertrick nichts daran ändert.

Was das Projekt interessant macht, ist daher nicht seine Ausgabequalität, sondern seine Architektur. Die Errungenschaft besteht darin, ein so großes Modell auf einen so winzigen Chip zu bringen und zu beweisen, dass die gleichen Techniken, die effiziente Modelle auf Telefonen und Servern antreiben, auch auf Hardware übertragen werden können, die weniger kostet als ein Sandwich.

Warum KI auf dem Gerät wichtig ist

Die Auswirkungen gehen weit über eine nette technische Demo hinaus. Da das Modell vollständig auf dem Chip läuft, wird nie etwas an einen Server gesendet. Das bedeutet absolute Privatsphäre, keine Daten verlassen das Gerät und es fallen keine Cloud-Rechnungen an. Für Anwendungen in abgelegenen Gebieten, bei Geräten mit geringem Stromverbrauch oder in Umgebungen, in denen die Konnektivität unzuverlässig ist, ist diese Kombination wirklich nützlich.

Es deutet auch auf eine Zukunft hin, in der kleine, spezialisierte Modelle auf Milliarden billiger eingebetteter Geräte verteilt sind und nicht in einer Handvoll riesiger Rechenzentren konzentriert sind. Derselbe Druck, der das Interesse an lokaler KI auf Laptops und Telefonen antreibt, nämlich geringere Latenz, geringere Kosten und stärkerer Datenschutz, wirkt sich auf der Mikrocontroller-Ebene noch stärker aus.

Eine offene Einladung zum Basteln

Das Projekt wird unter der freizügigen MIT-Lizenz veröffentlicht und der Autor hat den vollständigen Code zusammen mit einer detaillierten Dokumentation und Benchmark-Ergebnissen auf GitHub geteilt. Diese Offenheit bedeutet, dass andere Hardwareentwickler den Ansatz studieren, ihn an andere Chips anpassen oder die Parameteranzahl noch weiter erhöhen können.

Das unter dem Namen slvDev veröffentlichte Werk fand großen Anklang in der Entwickler-Community, sammelte Hunderte von positiven Stimmen auf Hacker News und löste Diskussionen darüber aus, wohin die Technik als nächstes gehen könnte. Wenn der Trend anhält, wird die Grenze zwischen einem „Sprachmodell“ und einer gewöhnlichen eingebetteten Software deutlich verschwimmen.

Bleiben Sie der KI immer einen Schritt voraus

Von 8-Dollar-Chips bis hin zu milliardenschweren Rechenzentren: Die Frage, wo KI läuft, wird genauso wichtig wie die Frage, was KI leisten kann. Die Hardware-Ebene entwickelt sich schneller, als den meisten Menschen bewusst ist, und die Projekte, die heute wie Kuriositäten aussehen, bestimmen oft den Mainstream von morgen. Lesen Sie weitere KI-Neuigkeiten auf AI Buzz Wire, um jeden Durchbruch in den Bereichen Edge Computing, Modelleffizienz und On-Device-Intelligenz zu verfolgen.

Bleiben Sie über die KI-Hardware-Revolution auf dem Laufenden – besuchen Sie AI Buzz Wire