'OCR Tanpa Batas' Baidu Memproses Lusinan Halaman Dokumen dalam Satu Proses Menggunakan Penglupaan Seperti Manusia

Peneliti Baidu telah mengembangkan model pengenalan karakter optik (OCR) yang mampu memproses lusinan halaman dokumen dalam satu jalur inferensi sambil mempertahankan penggunaan memori yang konstan dan kecepatan yang konsisten. Sistem yang disebut Unlimited OCR ini mencapai hal ini melalui mekanisme perhatian baru yang terinspirasi oleh cara manusia menyalin teks dengan tangan, yang menunjukkan kemajuan signifikan dalam AI dokumen. Untuk mengetahui perkembangan terkini dalam penelitian dan teknologi AI, kunjungi AI Buzz Wire.

Mengatasi Kemacetan Cache KV

Sistem OCR end-to-end saat ini yang menggunakan model bahasa sebagai decodernya menghadapi keterbatasan arsitektur yang mendasar. Saat model memproses teks, model menyimpan informasi tentang token yang diproses sebelumnya dalam buffer yang disebut cache KV, sehingga memungkinkannya mereferensikan konten sebelumnya selama pembuatan. Buffer ini bertambah seiring dengan setiap baris teks baru, yang terus meningkatkan konsumsi memori dan memperlambat kecepatan pembuatan.

Dalam praktiknya, sistem yang ada mengatasi hambatan ini dengan memproses dokumen halaman demi halaman secara berulang, mengatur ulang cache setelah setiap halaman selesai. Pendekatan ini berhasil, namun menimbulkan inefisiensi dan mencegah model mempertahankan konteks melintasi batas halaman. Tidak ada model OCR saat ini yang menangani lebih dari sepuluh halaman dalam sekali jalan, catat para peneliti Baidu dalam laporan teknis mereka.

OCR tanpa batas menghilangkan kendala ini sepenuhnya. Dengan mendesain ulang mekanisme perhatian yang mengatur cara model mengakses cache, sistem menjaga penggunaan memori tetap konstan terlepas dari berapa banyak halaman yang diproses.

Cara Kerja Referensi Sliding Window Attention

Inovasi kuncinya adalah apa yang oleh tim Baidu disebut sebagai Referensi Sliding Window Attention (R-SWA). Mekanisme ini dibangun di atas wawasan sederhana namun kuat yang diambil dari analogi manusia: ketika seseorang menyalin teks dari sebuah buku, mereka tidak terus-menerus membaca ulang semua yang telah mereka tulis. Sebaliknya, mereka tetap memusatkan perhatian pada materi sumber, beberapa karakter terakhir yang mereka transkripsikan, dan karakter berikutnya yang akan ditulis. Bagian-bagian yang lebih tua secara alami memudar dari memori aktif melalui semacam pelupaan ringan.

R-SWA menerapkan prinsip ini dengan memperlakukan berbagai jenis token secara berbeda. Setiap token yang dihasilkan mempertahankan perhatian penuh pada semua token referensi — token gambar visual yang menyandikan dokumen dan perintah pemrosesan. Namun jika menyangkut teks keluaran yang dihasilkan sebelumnya, model hanya melihat kembali 128 token terbaru.

Desain ini menjaga cache KV pada ukuran tetap sama dengan jumlah panjang awalan dan ukuran jendela, terlepas dari berapa banyak teks yang telah dihasilkan. Cache berfungsi sebagai antrean, dengan setiap token baru akan mengeluarkan token terlama, mencegah pertumbuhan memori tanpa batas yang mengganggu mekanisme perhatian standar.

Melindungi Informasi Visual

Pilihan desain penting di R-SWA adalah cara menangani token visual. Perhatian jendela geser standar akan membuat semua token mengalami perubahan status yang sedang berlangsung, secara bertahap mengaburkan fitur gambar dan menurunkan akurasi pengenalan seiring waktu. R-SWA mengecualikan token visual dari transisi ini — token tersebut dikodekan satu kali dan tetap tidak berubah selama keseluruhan proses decoding.

Pelestarian informasi visual ini penting untuk akurasi OCR. Dengan menjaga representasi gambar asli tetap utuh sambil membatasi seberapa jauh model terlihat dalam keluarannya sendiri, R-SWA mencapai yang terbaik dari kedua hal tersebut: penggunaan memori yang stabil dan pengenalan teks yang andal.

Arsitektur dan Pelatihan

OCR tak terbatas dibangun di atas model Deepseek OCR sumber terbuka. Baidu mempertahankan DeepEncoder-nya, yang mengompresi gambar PDF berukuran 1024 kali 1024 piksel menjadi 256 token, dan memasangkannya dengan arsitektur campuran ahli (MoE). Dekoder ini memiliki total tiga miliar parameter, namun hanya sekitar 500 juta yang aktif selama inferensi, sehingga biaya komputasi tetap terkendali.

Sistem ini menawarkan dua mode resolusi. Mode dasar dioptimalkan untuk dokumen multi-halaman, sedangkan mode Gundam menggunakan resolusi dinamis untuk pemrosesan satu halaman. Setiap lapisan perhatian standar di decoder diganti dengan R-SWA.

Pelatihan dilakukan terhadap sekitar dua juta sampel dokumen, yang dibagi sembilan banding satu antara data satu halaman dan multi halaman. PaddleOCR menangani anotasi untuk satu halaman, sementara data multi-halaman dibuat secara sintetis dengan menggabungkan satu halaman menjadi dokumen yang berkisar antara dua hingga lima puluh halaman. Semua data pelatihan dikemas ke dalam urutan 32.000 token, dan pelatihan dijalankan selama 4.000 langkah pada 8 set 16 GPU Nvidia A800. DeepEncoder tetap terhenti selama pelatihan, dengan hanya parameter model bahasa yang diperbarui.

Hasil Tolok Ukur

OCR tanpa batas mencapai kinerja yang kuat di berbagai metrik evaluasi. Pada tolok ukur dokumen OmniDocBench v1.5, model ini mendapat skor keseluruhan 93 persen, enam poin persentase di atas garis dasar Deepseek OCR.

Dalam pengujian kritis jangka panjang — di mana model memproses banyak halaman dalam sekali jalan — tingkat kesalahan tetap di bawah 0,11 bahkan melebihi 40 halaman. Para peneliti mengaitkan kesalahan yang tersisa bukan karena hilangnya konteks tetapi karena batas resolusi DeepEncoder dalam mode Dasar, yang membuat teks yang sangat kecil menjadi sulit dikenali.

Jendela perhatian terbatas juga menghasilkan manfaat yang tidak terduga. Pada dokumen satu halaman, membatasi jendela menjadi 128 token tidak mengurangi akurasi dan sebenarnya sedikit meningkatkannya. Para peneliti berhipotesis bahwa R-SWA memaksa model untuk lebih fokus pada tugas OCR yang padat, sementara perhatian penuh cenderung ke arah divergensi seiring bertambahnya panjang keluaran.

Peningkatan kecepatan juga sama pentingnya. Dalam mode Dasar, OCR Tanpa Batas mencapai 5.580 token per detik dibandingkan dengan 4.951 untuk Deepseek OCR, peningkatan sebesar 12,7 persen. Dalam perbandingan batas atas teoretis dengan paralelisme ideal, model ini memimpin garis dasar sebesar 35 persen pada sekitar 6.000 token keluaran.

Signifikansi Lebih Luas

Arsitektur OCR Tanpa Batas menunjukkan prinsip yang memiliki implikasi di luar pemrosesan dokumen. Gagasan untuk menjaga memori tetap konstan melalui perhatian selektif – yang terinspirasi oleh ilmu kognitif dan bukan penskalaan murni – dapat menjadi masukan dalam perancangan sistem AI yang lebih efisien di berbagai aplikasi.

Ketika organisasi bergulat dengan biaya komputasi dalam penerapan model bahasa berukuran besar, pendekatan yang mengurangi konsumsi memori tanpa mengorbankan kualitas menjadi semakin berharga. Karya Baidu menunjukkan bahwa metafora biologis, ketika diterjemahkan ke dalam mekanisme matematika, dapat menghasilkan terobosan rekayasa praktis.

Penelitian ini juga menyoroti semakin besarnya pengaruh Tiongkok dalam penelitian dasar AI. Meskipun banyak perhatian terfokus pada pencapaian Tiongkok dalam model bahasa besar, penelitian seperti Unlimited OCR menunjukkan bahwa para peneliti Tiongkok juga memberikan kontribusi signifikan pada sistem AI khusus dengan aplikasi praktis langsung.

Tetap Terdepan dalam AI

Untuk liputan lebih lanjut tentang penelitian AI, dokumen AI, dan terobosan teknologi, kunjungi AI Buzz Wire.

Baca berita AI selengkapnya →