Ein kleines, aber feines Experten-Mix-Design
Laut einer detaillierten Aufschlüsselung in MarkTechPost ist Instella-MoE-16B-A3B ein reines Decoder-MoE-Modell mit 16 Milliarden Gesamtparametern, die nur 2,8 Milliarden pro Token aktivieren. Jede seiner 27 Schichten verwendet 2 gemeinsame Experten plus 6 weitergeleitete Experten, die aus einem Pool von 64 ausgewählt werden, mit einer versteckten Größe von 2048, 16 Aufmerksamkeitsköpfen und einem Vokabular von 128.896 Token. Ein Multi-Token-Vorhersage-Ziel wird sowohl vor dem Training als auch während des Trainings verwendet.
Diese spärliche Architektur – bei der ein winziger Teil des Netzwerks für jeden Token „aufwacht“ – ist die gleiche Effizienzlogik, die hinter den kostengünstigen offenen Modellen steckt, die den Markt im vergangenen Jahr verändert haben. AMD trainierte das Modell mit 7,1 Billionen Token aus offenen Korpora, darunter Nemotron-CC-v2, MegaMath, FineMath, RefineCode und TxT360, und führte dann eine mittlere Trainingsphase auf Dolma3 Dolmino 100B über drei Datenvarianten durch, die durch Gewichtungsmittelung zusammengeführt wurden. Eine Phase mit langem Kontext erweitert das Fenster mithilfe von YaRN von 4K auf 64K Token.
Zwei Innovationen auf Systemebene
Die Veröffentlichung beinhaltet zwei strukturelle Optionen, die AMD als bedeutende technische Erfolge hervorhebt. Das erste ist Gated Multi-head Latent Attention (Gated MLA), das der Multi-head Latent Attention ein leichtgewichtiges erlerntes Ausgabegatter hinzufügt. Eine dedizierte lineare Projektion leitet ein eingabebedingtes Gatter ab, das multiplikativ vor der Ausgabeprojektion angewendet wird.
Das zweite, FarSkip-Collective, ist ein Konnektivitätsschema, das veraltete und teilweise Aktivierungen an die MoE- und Aufmerksamkeitsebene weiterleitet und so die expertenparallele Kommunikation mit der Berechnung überlappt. AMD meldet eine 12,7 %ige Beschleunigung vor dem Training und eine bis zu 39,2 %ige Verkürzung der Zeit bis zum ersten Token bei der Bereitstellung mit Expertenparallelität. Für ein Unternehmen, das seine Hardware auf das Preis-Leistungs-Verhältnis ausrichtet, sind das genau die Zahlen, die der Käufer sehen möchte.
Starke Benchmarks für ein vollständig offenes Modell
Beim Basiskontrollpunkt liegt der Instella-MoE-Durchschnitt bei allen Bewertungen bei 76,7, was AMD als das stärkste Ergebnis unter den vollständig offenen Modellen bezeichnet. Damit liegt es vor Moonlight-16B-A3B (76,2), SmolLM3-3B-Base (70,5), OLMo-3-7B (70,1) und OLMoE-1B-7B (61,9), obwohl es immer noch hinter Qwen3.5-4B-Base (79,5) liegt. Es führt auf WinoGrande mit einer Punktzahl von 86,5 und erreicht 65,7 auf HumanEval+. Bei Aufgaben mit langem Kontext liegt der Durchschnitt bei 41,5 bei HELMET und 79,4 bei RULER.
Nach dem Training wird das Modell weiter geschärft. Die Durchschnittswerte steigen von 71,58 nach überwachter Feinabstimmung auf 72,67 nach DPO und 73,22 in der „Think“-Konfiguration und schlagen Olmo3-7B-Think (71,97), Gemma-4-E4B Think (70,47) und Qwen3.5-4B (69,73). Bei Befolgung der Anweisungen steigt IFEval von 77,08 auf 83,70.
Das Rezept nach dem Training ist an sich bemerkenswert. Nach SFT auf Dolci-Think-SFT-7B- und Nemotron-Mischungen führt AMD DPO mit Router-Bias-Updates und deaktiviertem zusätzlichen Lastausgleichsverlust aus, um eine Verschlechterung zu vermeiden. Das verstärkende Lernen erfolgt dann innerhalb des Miles-Frameworks von AMD: 1.400 Schritte der Anweisungsbefolgung von RLVR, gefolgt von Multi-Teacher On-Policy-Destillation, die den Gewinn wieder einbringt, ohne die Mathematik- oder Codeleistung zu opfern.
Der Lizenzhaken
Es gibt einen Vorbehalt, der für gewerbliche Nutzer von Bedeutung ist. Die Modellgewichte werden unter einer ResearchRAIL-Lizenz ausgeliefert, die die Nutzung ausschließlich auf akademische und Forschungszwecke beschränkt, sodass Instella-MoE kein Drop-in-Modell für Produktionseinsätze ist. Die Trainingscodebasis ist jedoch MIT-lizenziert, und das ist wohl das wiederverwendbarere Asset – es gibt anderen Laboren einen konkreten Plan für die Schulung auf AMD-Silizium.
AMD hat die vollständigen Gewichte jeder Trainingsphase, die Datenmischungen, die Trainingskonfigurationen und den Inferenzcode in einer Hugging Face-Sammlung, einem GitHub-Repository und seinem ROCm-Blog veröffentlicht. Dieses Maß an Offenheit – von Trainingsphase zu Trainingsphase, nicht nur ein abschließender Kontrollpunkt – ist es, was eine „völlig offene“ Veröffentlichung von einer typischen Veröffentlichung mit offenem Gewicht unterscheidet.
Warum dies über die Benchmarks hinaus wichtig ist
Der Untertext der Veröffentlichung ist Hardware-Konkurrenz. Das CUDA-Ökosystem und die GPUs der H100-Klasse von Nvidia waren das Standardsubstrat für das Frontier-Modelltraining, und die Herausforderer haben jahrelang versucht zu beweisen, dass ihre Beschleuniger den gesamten Trainingsstapel bewältigen können. Instella-MoE ist ein glaubwürdiges Artefakt, das die Instinct-Reihe von AMD – die bereits in großem Umfang von Hyperscalern und nationalen Laboren eingesetzt wird – über mehr als nur Inferenz-Workloads leisten kann. Wenn AMD weiterhin wettbewerbsfähige offene Modelle produzieren kann, die auf seiner eigenen Hardware basieren, stärkt das die Argumente für Käufer, die Nvidias Einfluss auf den Markt für KI-Rechner brechen wollen.
Für Forscher liegt der Reiz in der Transparenz. Vollständig offene Veröffentlichungen, die den Datenmix, die Mischung während des Trainings, die Destillationsstrategie und den RL-Lehrplan dokumentieren, bleiben selten und ermöglichen es der Community, Behauptungen zu prüfen und zu reproduzieren, anstatt sich auf das Wort eines Labors zu verlassen. Instella-MoE schließt sich einer kleinen, aber wachsenden Liste an – darunter AMDs eigene frühere Instella-Dense-Modelle – und treibt diesen Standard voran.
Bleiben Sie der KI immer einen Schritt voraus
Möchten Sie diese Art von umfassender technischer Berichterstattung, sobald sie stattfindet? Setzen Sie ein Lesezeichen auf unseren Hub für die neuesten KI-Entwicklungen und verpassen Sie keine Veröffentlichung.
Weitere KI-Neuigkeiten lesen →
