Baidus „Unlimited OCR“ verarbeitet Dutzende Dokumentseiten in einem Durchgang mit menschenähnlichem Vergessen

Baidu-Forscher haben ein OCR-Modell (Optical Character Recognition) entwickelt, das in der Lage ist, Dutzende Dokumentseiten in einem einzigen Inferenzdurchgang zu verarbeiten und dabei eine konstante Speichernutzung und eine konstante Geschwindigkeit aufrechtzuerhalten. Das System namens Unlimited OCR erreicht dies durch einen neuartigen Aufmerksamkeitsmechanismus, der von der Art und Weise inspiriert ist, wie Menschen Text von Hand kopieren, was einen bedeutenden Fortschritt in der Dokumenten-KI darstellt. Die neuesten Entwicklungen in der KI-Forschung und -Technologie finden Sie unter AI Buzz Wire.

Überwindung des KV-Cache-Engpasses

Aktuelle End-to-End-OCR-Systeme, die Sprachmodelle als Decoder verwenden, unterliegen einer grundlegenden architektonischen Einschränkung. Während ein Modell Text verarbeitet, speichert es Informationen über zuvor verarbeitete Token in einem Puffer namens KV-Cache, sodass es während der Generierung auf frühere Inhalte verweisen kann. Dieser Puffer wächst mit jeder neuen Textzeile, was den Speicherverbrauch stetig erhöht und die Generierungsgeschwindigkeit verlangsamt.

In der Praxis umgehen bestehende Systeme diesen Engpass, indem sie Dokumente Seite für Seite in einer Schleife verarbeiten und den Cache nach Abschluss jeder Seite zurücksetzen. Dieser Ansatz funktioniert, führt jedoch zu Ineffizienzen und verhindert, dass das Modell den Kontext über Seitengrenzen hinweg aufrechterhält. Kein aktuelles OCR-Modell verarbeitet mehr als etwa zehn Seiten in einem Durchgang, stellen die Baidu-Forscher in ihrem technischen Bericht fest.

Unbegrenzte OCR beseitigt diese Einschränkung vollständig. Durch die Neugestaltung des Aufmerksamkeitsmechanismus, der steuert, wie das Modell auf seinen Cache zugreift, hält das System die Speichernutzung konstant, unabhängig davon, wie viele Seiten es verarbeitet.

Wie Reference Sliding Window Attention funktioniert

Die wichtigste Innovation ist das, was das Baidu-Team Reference Sliding Window Attention (R-SWA) nennt. Der Mechanismus basiert auf einer einfachen, aber wirkungsvollen Erkenntnis, die aus einer menschlichen Analogie stammt: Wenn eine Person Text aus einem Buch kopiert, liest sie nicht ständig alles erneut, was sie bereits geschrieben hat. Stattdessen konzentrieren sie sich weiterhin auf das Ausgangsmaterial, die letzten paar Zeichen, die sie transkribiert haben, und das nächste Zeichen, das sie aufschreiben müssen. Ältere Passagen verschwinden auf natürliche Weise durch eine Art sanftes Vergessen aus der aktiven Erinnerung.

R-SWA setzt dieses Prinzip um, indem es verschiedene Arten von Token unterschiedlich behandelt. Jedes generierte Token behält die volle Aufmerksamkeit aller Referenz-Tokens – den visuellen Bild-Tokens, die das Dokument und die Verarbeitungsaufforderung kodieren. Wenn es jedoch um zuvor generierten Ausgabetext geht, blickt das Modell nur auf die letzten 128 Token zurück.

Dieses Design hält den KV-Cache auf einer festen Größe, die der Summe aus Präfixlänge und Fenstergröße entspricht, unabhängig davon, wie viel Text generiert wurde. Der Cache fungiert als Warteschlange, wobei jedes neue Token das älteste verdrängt und so das unbegrenzte Speicherwachstum verhindert, das Standard-Aufmerksamkeitsmechanismen beeinträchtigt.

Schutz visueller Informationen

Eine wichtige Designentscheidung in R-SWA ist der Umgang mit visuellen Token. Durch die standardmäßige Sliding-Window-Aufmerksamkeit würden alle Token fortlaufenden Zustandsänderungen ausgesetzt, was Bildmerkmale allmählich verwischen und die Erkennungsgenauigkeit mit der Zeit verschlechtern würde. R-SWA nimmt visuelle Token von diesen Übergängen aus – sie werden einmal codiert und bleiben während des gesamten Decodierungsprozesses unverändert.

Diese Erhaltung der visuellen Informationen ist für die OCR-Genauigkeit von entscheidender Bedeutung. Indem die ursprüngliche Bilddarstellung erhalten bleibt und gleichzeitig begrenzt wird, wie weit das Modell in seiner eigenen Ausgabe zurückblickt, erreicht R-SWA das Beste aus beiden Welten: stabile Speichernutzung und zuverlässige Texterkennung.

Architektur und Ausbildung

Unlimited OCR basiert auf dem Open-Source-OCR-Modell von Deepseek. Baidu behält seinen DeepEncoder bei, der ein 1024 x 1024 Pixel großes PDF-Bild auf 256 Token komprimiert, und kombiniert es mit einer Mixed-of-Experts-Architektur (MoE). Der Decoder verfügt über insgesamt drei Milliarden Parameter, aber während der Inferenz sind nur etwa 500 Millionen aktiv, sodass die Rechenkosten überschaubar bleiben.

Das System bietet zwei Auflösungsmodi. Der Basismodus ist für mehrseitige Dokumente optimiert, während der Gundam-Modus eine dynamische Auflösung für die Verarbeitung einzelner Seiten verwendet. Jede Standard-Aufmerksamkeitsschicht im Decoder wurde durch R-SWA ersetzt.

Das Training wurde an etwa zwei Millionen Dokumentenbeispielen durchgeführt, die im Verhältnis neun zu eins zwischen einseitigen und mehrseitigen Daten aufgeteilt waren. PaddleOCR übernahm die Annotation für einzelne Seiten, während mehrseitige Daten synthetisch erstellt wurden, indem einzelne Seiten zu Dokumenten mit einer Länge von zwei bis fünfzig Seiten zusammengefügt wurden. Alle Trainingsdaten wurden in Sequenzen von 32.000 Token gepackt und das Training lief über 4.000 Schritte auf 8 Sätzen mit 16 Nvidia A800-GPUs. Der DeepEncoder blieb während des gesamten Trainings eingefroren, nur die Parameter des Sprachmodells wurden aktualisiert.

Benchmark-Ergebnisse

Unbegrenzte OCR erzielt eine starke Leistung bei mehreren Bewertungsmetriken. Beim Dokumenten-Benchmark von OmniDocBench v1.5 erreicht das Modell insgesamt 93 Prozent, sechs Prozentpunkte über dem OCR-Basiswert von Deepseek.

Im kritischen Long-Horizon-Test – bei dem das Modell viele Seiten in einem einzigen Durchgang verarbeitet – bleibt die Fehlerrate auch über 40 Seiten hinaus unter 0,11. Die Forscher führen verbleibende Fehler nicht auf verlorenen Kontext zurück, sondern auf die Auflösungsgrenze des DeepEncoders im Basismodus, wo extrem kleiner Text schwer zu erkennen ist.

Das eingeschränkte Aufmerksamkeitsfenster bringt auch einen unerwarteten Vorteil mit sich. Bei einseitigen Dokumenten beeinträchtigt die Beschränkung des Fensters auf 128 Token die Genauigkeit nicht, sondern verbessert sie sogar geringfügig. Die Forscher nehmen an, dass R-SWA das Modell dazu zwingt, sich stärker auf die dichte OCR-Aufgabe zu konzentrieren, während die volle Aufmerksamkeit mit zunehmender Ausgabelänge zur Divergenz tendiert.

Geschwindigkeitsverbesserungen sind gleichermaßen bemerkenswert. Im Basismodus erreicht Unlimited OCR 5.580 Token pro Sekunde im Vergleich zu 4.951 bei Deepseek OCR, was einer Verbesserung von 12,7 Prozent entspricht. Bei theoretischen Obergrenzenvergleichen mit idealer Parallelität liegt das Modell bei etwa 6.000 Ausgabetokens um 35 Prozent vor der Basislinie.

Umfassendere Bedeutung

Die Unlimited OCR-Architektur demonstriert ein Prinzip mit Auswirkungen über die Dokumentenverarbeitung hinaus. Die Idee, das Gedächtnis durch selektive Aufmerksamkeit konstant zu halten – inspiriert von der Kognitionswissenschaft und nicht von reiner Skalierung – könnte die Entwicklung effizienterer KI-Systeme für eine Reihe von Anwendungen beeinflussen.

Da Unternehmen mit den Rechenkosten für die Bereitstellung großer Sprachmodelle zu kämpfen haben, werden Ansätze, die den Speicherverbrauch ohne Qualitätseinbußen reduzieren, immer wertvoller. Baidus Arbeit legt nahe, dass biologische Metaphern, wenn sie in mathematische Mechanismen übersetzt werden, zu praktischen technischen Durchbrüchen führen können.

Die Studie unterstreicht auch den wachsenden Einfluss Chinas in der Grundlagenforschung im Bereich der KI. Während sich die Aufmerksamkeit auf chinesische Errungenschaften bei großen Sprachmodellen konzentriert hat, zeigen Arbeiten wie „Unlimited OCR“, dass chinesische Forscher auch bedeutende Beiträge zu spezialisierten KI-Systemen mit unmittelbaren praktischen Anwendungen leisten.

Bleiben Sie der KI immer einen Schritt voraus

Weitere Informationen zur KI-Forschung, zum Dokumentieren von KI und zu technologischen Durchbrüchen finden Sie unter AI Buzz Wire.

Weitere KI-Neuigkeiten lesen →