'OCR isiyo na kikomo' ya Baidu Huchakata Kurasa nyingi za Hati katika Pasi Moja kwa Kutumia Kusahau Kama Binadamu.

Watafiti wa Baidu wameunda kielelezo cha utambuzi wa herufi (OCR) chenye uwezo wa kuchakata kurasa nyingi za hati kwa njia moja ya marejeleo huku wakidumisha matumizi ya kumbukumbu mara kwa mara na kasi thabiti. Mfumo huo, unaoitwa Unlimited OCR, unafanikisha hili kupitia utaratibu wa riwaya wa makini unaochochewa na jinsi wanadamu wanavyonakili maandishi kwa mkono, ikiwakilisha maendeleo makubwa katika hati AI. Kwa maendeleo ya hivi punde katika utafiti na teknolojia ya AI, tembelea AI Buzz Wire.

Kushinda Kashe ya Kache ya KV

Mifumo ya sasa ya OCR ya mwisho hadi mwisho inayotumia miundo ya lugha kama visimbuaji vyake inakabiliwa na kizuizi cha kimsingi cha usanifu. Kielelezo kinapochakata maandishi, huhifadhi taarifa kuhusu tokeni zilizochakatwa hapo awali kwenye bafa inayoitwa kache ya KV, na kuiruhusu kurejelea maudhui ya awali wakati wa utayarishaji. Bafa hii hukua kwa kila mstari mpya wa maandishi, na kuongeza kasi ya matumizi ya kumbukumbu na kupunguza kasi ya uzalishaji.

Kwa mazoezi, mifumo iliyopo hufanya kazi kuzunguka kizuizi hiki kwa kuchakata hati ukurasa kwa ukurasa katika kitanzi, kuweka upya kache baada ya kila ukurasa kukamilika. Mbinu hii inafanya kazi lakini inaleta uzembe na inazuia kielelezo kudumisha muktadha katika mipaka ya ukurasa. Hakuna muundo wa sasa wa OCR unaoshughulikia zaidi ya kurasa kumi katika pasi moja, watafiti wa Baidu wanabainisha katika ripoti yao ya kiufundi.

OCR isiyo na kikomo huondoa kikwazo hiki kabisa. Kwa kuunda upya utaratibu wa uangalizi ambao unasimamia jinsi modeli hufikia akiba yake, mfumo huweka matumizi ya kumbukumbu mara kwa mara bila kujali ni kurasa ngapi inachakata.

Jinsi Uangalifu wa Dirisha la Kutelezesha Marejeleo Hufanya Kazi

Ubunifu muhimu ni ule ambao timu ya Baidu inaita Uangalifu wa Dirisha la Kutelezesha Marejeleo (R-SWA). Utaratibu huu umejengwa juu ya ufahamu rahisi lakini wenye nguvu unaotokana na mlinganisho wa kibinadamu: wakati mtu anakili maandishi kutoka kwa kitabu, huwa hasomi tena kila kitu ambacho tayari ameandika. Badala yake, wao huweka umakini wao kwenye nyenzo asilia, herufi chache za mwisho walizonakili, na mhusika anayefuata kuandika. Vifungu vya zamani kawaida hufifia kutoka kwa kumbukumbu amilifu kupitia aina ya kusahau laini.

R-SWA hutekeleza kanuni hii kwa kutibu aina tofauti za ishara tofauti. Kila tokeni inayozalishwa hudumisha uangalizi kamili kwa tokeni zote za marejeleo - tokeni za picha zinazoonekana ambazo husimba hati na haraka ya kuchakata. Lakini inapokuja kwa maandishi ya pato yaliyotolewa hapo awali, modeli huangalia nyuma tu tokeni 128 za hivi karibuni.

Muundo huu huweka akiba ya KV katika saizi isiyobadilika sawa na jumla ya urefu wa kiambishi awali na saizi ya dirisha, bila kujali ni kiasi gani cha maandishi kimetolewa. Akiba hufanya kazi kama foleni, huku kila tokeni mpya ikisukuma ile kuu kuu, kuzuia ukuaji wa kumbukumbu usio na mipaka ambao unakumba mifumo ya kawaida ya umakini.

Kulinda Taarifa Zinazoonekana

Chaguo muhimu la muundo katika R-SWA ni jinsi inavyoshughulikia tokeni za kuona. Uangalifu wa kawaida wa dirisha la kutelezesha unaweza kuelekeza tokeni zote kwenye mabadiliko yanayoendelea ya hali, ikitia ukungu hatua kwa hatua vipengele vya picha na kudhalilisha usahihi wa utambuzi baada ya muda. R-SWA hairuhusu tokeni za kuona kutoka kwa mabadiliko haya - husimbwa mara moja na hubaki bila kubadilika katika mchakato mzima wa kusimbua.

Uhifadhi huu wa taarifa inayoonekana ni muhimu kwa usahihi wa OCR. Kwa kuweka uwakilishi wa picha asili ukiwa sawa huku ukiwekea kikomo jinsi muundo unavyoonekana nyuma katika matokeo yake yenyewe, R-SWA inafanikisha ubora wa ulimwengu wote: utumiaji wa kumbukumbu thabiti na utambuzi wa maandishi unaotegemewa.

Usanifu na Mafunzo

OCR isiyo na kikomo imejengwa juu ya muundo wa chanzo huria wa Deepseek OCR. Baidu huhifadhi DeepEncoder yake, ambayo hubana picha ya PDF ya 1024-by-1024-pixel hadi tokeni 256, na kuioanisha na usanifu wa mchanganyiko wa wataalam (MoE). Kisimbuaji kina jumla ya vigezo bilioni tatu, lakini takriban milioni 500 pekee ndizo zinazotumika wakati wa makisio, hivyo basi kudhibiti gharama za hesabu.

Mfumo hutoa njia mbili za azimio. Hali ya msingi imeboreshwa kwa hati za kurasa nyingi, ilhali hali ya Gundam hutumia azimio thabiti kwa kuchakata ukurasa mmoja. Kila safu ya uangalizi ya kawaida katika avkodare ilibadilishwa na R-SWA.

Mafunzo yalifanyika kwa takriban sampuli milioni mbili za hati, zilizogawanyika tisa hadi moja kati ya data ya ukurasa mmoja na kurasa nyingi. PaddleOCR ilishughulikia kidokezo cha kurasa moja, ilhali data ya kurasa nyingi iliundwa kisanii kwa kuunganisha kurasa moja kuwa hati kuanzia kurasa mbili hadi hamsini. Data yote ya mafunzo iliwekwa katika mfuatano wa tokeni 32,000, na mafunzo yalichukua hatua 4,000 kwenye seti 8 za GPU 16 za Nvidia A800. DeepEncoder ilisalia kuganda wakati wa mafunzo, na vigezo vya muundo wa lugha pekee vikisasishwa.

Matokeo ya Benchmark

OCR isiyo na kikomo hufanikisha utendakazi dhabiti katika vipimo vingi vya tathmini. Kwenye benchmark ya hati ya OmniDocBench v1.5, modeli inapata asilimia 93 kwa jumla, pointi sita juu ya msingi wa Deepseek OCR.

Katika jaribio muhimu la upeo wa macho - ambapo modeli huchakata kurasa nyingi kwa kupita moja - kiwango cha makosa hubaki chini ya 0.11 hata zaidi ya kurasa 40. Watafiti wanahusisha makosa yaliyobaki si kwa muktadha uliopotea bali kwa kikomo cha azimio la DeepEncoder katika modi ya Msingi, ambapo maandishi madogo sana huwa magumu kutambua.

Dirisha la tahadhari lililozuiliwa pia hutoa faida isiyotarajiwa. Kwenye hati za ukurasa mmoja, kupunguza dirisha kwa ishara 128 hakuumiza usahihi na kwa kweli huiboresha kidogo. Watafiti wanakisia kuwa R-SWA inalazimisha modeli kuzingatia zaidi kazi mnene ya OCR, ilhali umakini kamili unaelekea katika utofauti kadri urefu wa matokeo unavyokua.

Maboresho ya kasi yanajulikana vile vile. Katika hali ya Msingi, OCR isiyo na kikomo inapata tokeni 5,580 kwa sekunde ikilinganishwa na 4,951 kwa Deepseek OCR, uboreshaji wa asilimia 12.7. Katika ulinganisho wa kinadharia wa hali ya juu na usambamba bora, modeli inaongoza msingi kwa asilimia 35 kwa takriban tokeni 6,000 za matokeo.

Umuhimu mpana

Usanifu usio na kikomo wa OCR unaonyesha kanuni iliyo na athari zaidi ya usindikaji wa hati. Wazo la kuweka kumbukumbu mara kwa mara kupitia uangalifu maalum - unaochochewa na sayansi ya utambuzi badala ya kuongeza kiwango - linaweza kufahamisha muundo wa mifumo bora zaidi ya AI katika anuwai ya matumizi.

Mashirika yanapokabiliana na gharama za kukokotoa za kupeleka miundo mikubwa ya lugha, mbinu zinazopunguza matumizi ya kumbukumbu bila kughairi ubora zinazidi kuwa muhimu. Kazi ya Baidu inapendekeza kwamba sitiari za kibayolojia, zinapotafsiriwa katika mifumo ya hisabati, zinaweza kutoa mafanikio ya kiuhandisi ya vitendo.

Utafiti huo pia unaonyesha ushawishi unaokua wa China katika utafiti wa msingi wa AI. Ingawa umakini mkubwa umezingatia mafanikio ya Kichina katika miundo ya lugha kubwa, kazi kama OCR isiyo na kikomo inaonyesha kwamba watafiti wa China pia wanatoa mchango mkubwa kwa mifumo maalum ya AI na matumizi ya vitendo ya haraka.

Kaa Mbele ya AI

Kwa habari zaidi kuhusu utafiti wa AI, hati AI, na mafanikio ya teknolojia, tembelea AI Buzz Wire.

Soma habari zaidi za AI →