Baidu کے محققین نے آپٹیکل کریکٹر ریکگنیشن (OCR) ماڈل تیار کیا ہے جو میموری کے مستقل استعمال اور مستقل رفتار کو برقرار رکھتے ہوئے ایک ہی انفرنس پاس میں درجنوں دستاویزات کے صفحات پر کارروائی کرنے کے قابل ہے۔ لامحدود OCR کہلانے والا نظام، یہ ایک نئے توجہ کے طریقہ کار کے ذریعے حاصل کرتا ہے جس سے متاثر ہوتا ہے کہ انسان کس طرح ہاتھ سے ٹیکسٹ کاپی کرتے ہیں، دستاویز AI میں نمایاں پیش رفت کی نمائندگی کرتا ہے۔ AI تحقیق اور ٹیکنالوجی میں تازہ ترین پیش رفت کے لیے، AI Buzz Wire ملاحظہ کریں۔

کے وی کیشے کی رکاوٹ پر قابو پانا

موجودہ اینڈ ٹو اینڈ او سی آر سسٹمز جو لینگویج ماڈلز کو اپنے ڈیکوڈر کے طور پر استعمال کرتے ہیں ان کو بنیادی تعمیراتی حد کا سامنا ہے۔ جیسا کہ ایک ماڈل ٹیکسٹ پر کارروائی کرتا ہے، یہ پہلے پروسیس شدہ ٹوکنز کے بارے میں معلومات کو KV کیش نامی بفر میں محفوظ کرتا ہے، جس سے یہ نسل کے دوران پہلے کے مواد کا حوالہ دے سکتا ہے۔ یہ بفر متن کی ہر نئی لائن کے ساتھ بڑھتا ہے، میموری کی کھپت میں مسلسل اضافہ ہوتا ہے اور جنریشن کی رفتار کم ہوتی ہے۔

عملی طور پر، موجودہ سسٹمز اس رکاوٹ کے ارد گرد کام کرتے ہیں دستاویزات کے صفحے پر ایک لوپ میں پروسیسنگ کرتے ہوئے، ہر صفحہ مکمل ہونے کے بعد کیشے کو دوبارہ ترتیب دے کر۔ یہ نقطہ نظر کام کرتا ہے لیکن ناکاریاں متعارف کراتا ہے اور ماڈل کو صفحہ کی حدود میں سیاق و سباق کو برقرار رکھنے سے روکتا ہے۔ Baidu کے محققین نے اپنی تکنیکی رپورٹ میں نوٹ کیا کہ کوئی بھی موجودہ OCR ماڈل ایک پاس میں تقریباً دس صفحات سے زیادہ ہینڈل نہیں کرتا ہے۔

لامحدود OCR اس رکاوٹ کو مکمل طور پر ختم کرتا ہے۔ توجہ کے طریقہ کار کو دوبارہ ڈیزائن کرنے سے جو یہ کنٹرول کرتا ہے کہ ماڈل کس طرح اپنے کیشے تک رسائی حاصل کرتا ہے، سسٹم میموری کے استعمال کو مستقل رکھتا ہے اس سے قطع نظر کہ یہ کتنے صفحات پر کارروائی کرتا ہے۔

حوالہ سلائیڈنگ ونڈو توجہ کیسے کام کرتی ہے۔

کلیدی اختراع وہ ہے جسے Baidu ٹیم حوالہ سلائیڈنگ ونڈو اٹینشن (R-SWA) کہتی ہے۔ میکانزم ایک سادہ لیکن طاقتور بصیرت پر بنایا گیا ہے جو انسانی مشابہت سے اخذ کیا گیا ہے: جب کوئی شخص کسی کتاب سے متن کو نقل کرتا ہے، تو وہ اپنی لکھی ہوئی ہر چیز کو مسلسل دوبارہ نہیں پڑھتا ہے۔ اس کے بجائے، وہ اپنی توجہ ماخذ مواد پر مرکوز رکھتے ہیں، آخری چند حروف جو انھوں نے نقل کیے ہیں، اور اگلے کردار کو لکھنا ہے۔ پرانے حصے قدرتی طور پر ایک قسم کی نرم بھولنے کی وجہ سے فعال میموری سے ختم ہو جاتے ہیں۔

R-SWA مختلف قسم کے ٹوکن کے ساتھ مختلف طریقے سے علاج کر کے اس اصول کو نافذ کرتا ہے۔ ہر تیار کردہ ٹوکن تمام ریفرنس ٹوکنز پر پوری توجہ رکھتا ہے — بصری تصویری ٹوکن جو دستاویز اور پروسیسنگ پرامپٹ کو انکوڈ کرتے ہیں۔ لیکن جب یہ پہلے سے تیار کردہ آؤٹ پٹ ٹیکسٹ کی بات آتی ہے، تو ماڈل صرف حالیہ 128 ٹوکنز کو دیکھتا ہے۔

یہ ڈیزائن KV کیش کو ایک مقررہ سائز پر رکھتا ہے جو سابقہ ​​کی لمبائی اور ونڈو کے سائز کے برابر ہے، قطع نظر اس سے کہ کتنا متن تیار کیا گیا ہے۔ کیش ایک قطار کے طور پر کام کرتا ہے، ہر نئے ٹوکن کے ساتھ سب سے پرانے ٹوکن کو باہر دھکیلتا ہے، یادداشت کی غیر محدود ترقی کو روکتا ہے جو معیاری توجہ کے طریقہ کار کو متاثر کرتا ہے۔

بصری معلومات کی حفاظت

R-SWA میں ڈیزائن کا ایک اہم انتخاب یہ ہے کہ یہ بصری ٹوکن کو کیسے ہینڈل کرتا ہے۔ معیاری سلائیڈنگ ونڈو کی توجہ تمام ٹوکنز کو جاری حالت میں ہونے والی تبدیلیوں سے مشروط کرے گی، بتدریج تصویری خصوصیات کو دھندلا کرتی ہے اور وقت کے ساتھ ساتھ شناخت کی درستگی کو کم کرتی ہے۔ R-SWA ان ٹرانزیشنز سے بصری ٹوکنز کو مستثنیٰ رکھتا ہے — وہ ایک بار انکوڈ ہوتے ہیں اور پورے ضابطہ کشائی کے عمل میں کوئی تبدیلی نہیں کرتے۔

بصری معلومات کا یہ تحفظ OCR کی درستگی کے لیے ضروری ہے۔ اصل تصویر کی نمائندگی کو برقرار رکھتے ہوئے یہ محدود کرتے ہوئے کہ ماڈل اپنے آؤٹ پٹ میں کتنا پیچھے نظر آتا ہے، R-SWA دونوں جہانوں میں بہترین حاصل کرتا ہے: میموری کا مستحکم استعمال اور قابل اعتماد متن کی شناخت۔

فن تعمیر اور تربیت

لامحدود OCR اوپن سورس Deepseek OCR ماڈل کے اوپر بنایا گیا ہے۔ Baidu اپنے DeepEncoder کو برقرار رکھتا ہے، جو 1024-by-1024-پکسل PDF امیج کو 256 ٹوکن تک کم کرتا ہے، اور اسے ماہرین کے مرکب (MoE) فن تعمیر کے ساتھ جوڑتا ہے۔ ڈیکوڈر میں کل تین بلین پیرامیٹرز ہیں، لیکن تخمینہ کے دوران صرف تقریباً 500 ملین فعال ہیں، کمپیوٹیشنل اخراجات کو قابل انتظام رکھتے ہوئے

سسٹم دو ریزولوشن موڈ پیش کرتا ہے۔ بیس موڈ ملٹی پیج دستاویزات کے لیے بہتر بنایا گیا ہے، جبکہ گنڈم موڈ سنگل پیج پروسیسنگ کے لیے ڈائنامک ریزولوشن کا استعمال کرتا ہے۔ ڈیکوڈر میں ہر معیاری توجہ کی پرت کو R-SWA سے تبدیل کیا گیا تھا۔

تربیت تقریباً 20 لاکھ دستاویز کے نمونوں پر کی گئی، جو کہ ایک صفحے اور کثیر صفحہ کے ڈیٹا کے درمیان نو سے ایک میں تقسیم کی گئی۔ PaddleOCR نے سنگل صفحات کے لیے تشریح کو ہینڈل کیا، جبکہ متعدد صفحات کے ڈیٹا کو مصنوعی طور پر سنگل صفحات کو دو سے پچاس صفحات تک کی دستاویزات میں جوڑ کر بنایا گیا۔ تمام تربیتی ڈیٹا کو 32,000 ٹوکنز کے سلسلے میں پیک کیا گیا تھا، اور تربیت 16 Nvidia A800 GPUs کے 8 سیٹوں پر 4,000 مراحل تک چلائی گئی۔ ڈیپ انکوڈر ٹریننگ کے دوران منجمد رہا، صرف لینگویج ماڈل کے پیرامیٹرز کو اپ ڈیٹ کیا گیا۔

بینچ مارک کے نتائج

لامحدود OCR متعدد تشخیصی میٹرکس میں مضبوط کارکردگی حاصل کرتا ہے۔ OmniDocBench v1.5 دستاویز کے بینچ مارک پر، ماڈل نے مجموعی طور پر 93 فیصد اسکور کیا، ڈیپ سیک OCR بیس لائن سے چھ فیصد پوائنٹس۔

اہم طویل افق ٹیسٹ میں - جہاں ماڈل ایک ہی پاس میں بہت سے صفحات پر کارروائی کرتا ہے - غلطی کی شرح 40 صفحات سے آگے بھی 0.11 سے نیچے رہتی ہے۔ محققین نے باقی غلطیوں کو کھوئے ہوئے سیاق و سباق کو نہیں بلکہ بیس موڈ میں ڈیپ انکوڈر کی ریزولوشن کی حد سے منسوب کیا ہے، جہاں انتہائی چھوٹے متن کو پہچاننا مشکل ہو جاتا ہے۔

محدود توجہ کی کھڑکی بھی ایک غیر متوقع فائدہ دیتی ہے۔ ایک صفحے کے دستاویزات پر، ونڈو کو 128 ٹوکن تک محدود کرنے سے درستگی کو نقصان نہیں پہنچتا اور حقیقت میں اس میں قدرے بہتری آتی ہے۔ محققین کا قیاس ہے کہ R-SWA ماڈل کو گھنے OCR کام پر زیادہ مضبوطی سے توجہ مرکوز کرنے پر مجبور کرتا ہے، جب کہ آؤٹ پٹ کی لمبائی بڑھنے کے ساتھ ہی پوری توجہ انحراف کی طرف ہوتی ہے۔

رفتار میں بہتری بھی اتنی ہی قابل ذکر ہے۔ بیس موڈ میں، لامحدود OCR ڈیپ سیک OCR کے 4,951 کے مقابلے میں 5,580 ٹوکن فی سیکنڈ حاصل کرتا ہے، جو کہ 12.7 فیصد بہتری ہے۔ مثالی ہم آہنگی کے ساتھ نظریاتی اوپری پابند موازنہ میں، ماڈل تقریباً 6,000 آؤٹ پٹ ٹوکنز پر 35 فیصد کی طرف سے بیس لائن کی قیادت کرتا ہے۔

وسیع تر اہمیت

لامحدود OCR فن تعمیر دستاویز کی پروسیسنگ سے آگے کے مضمرات کے ساتھ ایک اصول کو ظاہر کرتا ہے۔ منتخب توجہ کے ذریعے میموری کو مستقل رکھنے کا خیال - خالص اسکیلنگ کے بجائے علمی سائنس سے متاثر - ایپلی کیشنز کی ایک حد میں زیادہ موثر AI سسٹمز کے ڈیزائن کو مطلع کرسکتا ہے۔

چونکہ تنظیمیں بڑے زبان کے ماڈلز کی تعیناتی کے کمپیوٹیشنل اخراجات سے نمٹ رہی ہیں، ایسے طریقے جو معیار کی قربانی کے بغیر میموری کی کھپت کو کم کرتے ہیں تیزی سے قیمتی ہیں۔ Baidu کے کام سے پتہ چلتا ہے کہ حیاتیاتی استعارے، جب ریاضیاتی میکانزم میں ترجمہ کیے جاتے ہیں، تو انجینئرنگ کی عملی کامیابیاں حاصل کر سکتے ہیں۔

یہ تحقیق بنیادی AI تحقیق میں چین کے بڑھتے ہوئے اثر و رسوخ کو بھی اجاگر کرتی ہے۔ اگرچہ بڑے زبان کے ماڈلز میں چینی کامیابیوں پر زیادہ توجہ مرکوز کی گئی ہے، لیکن لامحدود OCR جیسا کام یہ ظاہر کرتا ہے کہ چینی محققین فوری طور پر عملی ایپلی کیشنز کے ساتھ خصوصی AI سسٹمز میں بھی اہم شراکت کر رہے ہیں۔

AI سے آگے رہیں

AI تحقیق، دستاویز AI، اور ٹیکنالوجی کی کامیابیوں کی مزید کوریج کے لیے، AI Buzz Wire ملاحظہ کریں۔

مزید AI خبریں پڑھیں →