NVIDIA veröffentlicht Nemotron 3 Embed, eine offene Embedding-Sammlung mit einem 8B-Modell an der Spitze der RTEB-Bestenliste

NVIDIA hat Nemotron 3 Embed veröffentlicht, eine offene Sammlung von Einbettungsmodellen, die für Retrieval-Augmented Generation (RAG), Agentic Retrieval, Code Retrieval und Agent Memory im Produktionsmaßstab entwickelt wurden. Mit der Veröffentlichung, die am 17. Juli 2026 von MarkTechPost veröffentlicht wurde, wird die Ebene, die darüber entscheidet, welche Passagen ein KI-Agent jemals sieht, zu einem wettbewerbsorientierten Schlachtfeld, ein Trend, dem die Abteilung aktuelle KI-Nachrichten dieser Veröffentlichung gefolgt ist, während Unternehmen von Chatbots zu Systemen übergehen, die auf abgerufenes Wissen reagieren.

Einbettungsmodelle entscheiden darüber, welche Passagen ein Agent jemals sieht, was sie zu einem stillen, aber entscheidenden Engpass im generativen KI-Stack macht. NVIDIA hat Nemotron 3 Embed entwickelt, um diese Ebene zu stärken. Die Sammlung umfasst drei offene Kontrollpunkte: Nemotron-3-Embed-8B-BF16, eine Option, bei der die Genauigkeit an erster Stelle steht; Nemotron-3-Embed-1B-BF16, das das gleiche Design auf kleinerer Grundfläche aufweist; und Nemotron-3-Embed-1B-NVFP4, eine Blackwell-optimierte 4-Bit-Variante. Bei allen drei handelt es sich um Transformator-Encoder, die mit bidirektionaler Aufmerksamkeitsmaskierung trainiert wurden, wobei die endgültige Einbettung durch durchschnittliches Pooling über Darstellungen auf Token-Ebene erfolgt. Jeder unterstützt eine maximale Sequenzlänge von 32.768 Token.

An der Spitze der Bestenliste

Das Hauptergebnis ist, dass Nemotron-3-Embed-8B-BF16 mit Stand vom 17. Juli 2026 bei RTEB, dem Retrieval Embedding Benchmark, bei seinen 16 öffentlichen Aufgaben auf Platz eins steht. Die Ergebnisse werden als durchschnittlicher NDCG@10 bei einer Modellsequenzlänge von 4.096 gemessen. NVIDIA hat jedes Modell in 34 Sprachen evaluiert und alle drei Prüfpunkte werden unter der OpenMDW-Lizenzvereinbarung Version 1.1 veröffentlicht, sodass sie Entwicklern kostenlos zum Herunterladen, Ausführen und Ändern zur Verfügung stehen.

Bemerkenswert ist, dass die Modellbasen von Mistral stammen. Der 8B-Kontrollpunkt basiert laut MarkTechPost-Bericht auf Ministral-3-8B-Instruct-2512, während beide 1B-Varianten Ministral-3-3B-Instruct-2512 verwenden. Die Entscheidung von NVIDIA, auf Mistrals Fundament aufzubauen und nicht auf einer rein internen Architektur, spiegelt wider, wie fließend die Modellentwicklung geworden ist, wobei offene Basen routinemäßig für spezielle Aufgaben umfunktioniert und umgeschult werden.

Komprimierung, kein kleinerer Trainingslauf

Zwei Leistungslücken fallen auf. Das 1B-Modell gewinnt 10,4 RTEB-Punkte gegenüber der Basislinie llama-nemotron-embed-vl-1b-v2 der vorherigen Generation. Unabhängig davon kostet der NVFP4-4-Bit-Checkpoint im Vergleich zu seinem BF16-Elternteil nur 0,38 RTEB-Punkte und behält etwa 99,5 % seiner Abrufgenauigkeit bei. Diese nahezu verlustfreie Komprimierung ist besonders wichtig für Teams, die Einbettungen in großem Maßstab ausführen müssen, bei denen die Speicher- und Inferenzkosten häufig im Vordergrund stehen.

Diese 1B-Werte wurden durch eine Komprimierungspipeline und nicht durch einen kleineren Trainingslauf erreicht. Der Elternteil, nemotron-3-embed-3b, wurde in zwei Iterationsrunden beschnitten und destilliert. Zuerst wurde das 3B-Elternteil mithilfe der neuronalen Architektursuche mcore_minitron von NVIDIA ModelOpt auf 2B beschnitten, die nach versteckter Breite, FFN-Größe, Aufmerksamkeitspunkten und Tiefe sucht und dann den besten Kandidaten aus der Top-10-Pareto-Front auswählt. Ein domäneninternes Kalibrierungskorpus mit 50.000 Stichproben bewertete diese Kandidaten.

Als nächstes wurde das 2B-Modell aus dem fein abgestimmten 8B-Einbettungslehrer destilliert, der Kosinus-Distanzverlust und mittleren quadratischen Fehlerverlust über eine mehrsprachige, domäneninterne Datenmischung kombiniert. Das gleiche Verfahren wurde wiederholt, um den 1.14B-Kontrollpunkt zu erstellen, was zeigt, dass die kleineren Varianten einen Großteil der Fähigkeiten des größeren Modells durch strukturierte Komprimierung und nicht durch unabhängiges Training erben.

Gebaut für Blackwell-Effizienz

Die Komprimierung wird im Bereitstellungsformat fortgesetzt. Die Quantisierung zielte ausschließlich auf Gewichtungen und Aktivierungen linearer Schichten unter Verwendung des NVFP4-Datentyps ab, wobei sich das Forschungsteam auf nvidia-modelopt v0.45.0 verließ. Es folgte die quantisierungsbewusste Destillation, hauptsächlich um die Genauigkeit bei langen Eingaben wiederherzustellen. Für die Kalibrierung wurden 512 Proben verwendet, aufgeteilt auf 256 Abfragen und 256 Passagen aus dem cnn_dailymail-Datensatz, während das QAD-Training auf 20.000 Proben zurückgriff.

Der praktische Vorteil ist die Effizienz auf der neuesten Hardware von NVIDIA. Das Forschungsteam berichtet, dass NVFP4 auf Blackwell einen bis zu 2-mal höheren Durchsatz als BF16 liefert und gleichzeitig mehr als 99 % der BF16-Abrufgenauigkeit beibehält. Die NVFP4-Modellkarte dokumentiert auch dynamische Einbettungsgrößen, sodass Entwickler den 2.048-dimensionalen Vektor auf 1.024 oder 512 Dimensionen reduzieren und anschließend neu normalisieren können, wodurch ein wenig Genauigkeit gegen geringere Speicherkosten eingetauscht wird. Diese Flexibilität ist für Vektordatenbanken wichtig, wo die Speicherung von Milliarden hochdimensionaler Vektoren teuer ist.

Warum Einbettungen jetzt wichtig sind

Das Einbetten von Modellen ist zu einem stillen Engpass im generativen KI-Stack geworden. Jeder abrufbasierte Agent, jedes Unternehmenssuchtool und jeder Code-Assistent ist darauf angewiesen, dass sie den richtigen Kontext abrufen, bevor ein großes Sprachmodell eine Antwort generiert. Ein stärkeres, günstigeres Einbettungsmodell kann die Antwortqualität direkt verbessern und die Betriebskosten senken, weshalb Anbieter von OpenAI über Cohere bis hin zu Open-Source-Kollektiven beeilt sind, neue Familien herauszubringen.

Durch die Open-Source-Veröffentlichung einer erstklassigen Sammlung unter einer freizügigen Lizenz und deren Kombination mit Blackwell-abgestimmter Quantisierung bekräftigt NVIDIA seine Strategie, das breitere KI-Ökosystem mit Tools auszustatten, die am besten auf dem eigenen Chip laufen. Für Entwickler, die RAG-Pipelines oder Agentenspeichersysteme erstellen, bietet Nemotron 3 Embed eine neue, frei verfügbare Option, die den Stand der Technik in einem weithin beobachteten Benchmark vorantreibt, während die NVFP4-Variante Teams einen glaubwürdigen Weg zur Senkung der Inferenzkosten bietet, ohne die Abrufqualität zu beeinträchtigen, auf die ihre Anwendungen angewiesen sind.

Bleiben Sie der KI immer einen Schritt voraus

Offene Einbettungsmodelle wie Nemotron 3 Embed verändern im Stillen die Art und Weise, wie KI-Agenten Informationen finden und nutzen. Um mehr über die Modelle, Veröffentlichungen und Forschungsergebnisse zu erfahren, die das Feld voranbringen, verfolgen Sie unsere neuesten KI-Entwicklungen, wenn sie auf den Markt kommen.

Weitere KI-Neuigkeiten lesen ->