Unsloth, timu ya programu huria iliyo nyuma ya baadhi ya zana zinazotumiwa zaidi kwa kuendesha na kusanifu miundo mikubwa ya lugha ndani ya nchi, imetoa Dynamic 3.0, kizazi cha tatu cha mbinu yake ya kukadiria faili za muundo wa GGUF. Miundo ya kwanza kusafirisha chini ya mpango mpya ni kiasi cha Qwen3.8-27B, na Unsloth inadai kuwa inatoa zaidi ya asilimia 10 ya usahihi wa juu wa asilimia 1 kwa ukubwa sawa wa faili ikilinganishwa na kila mtoaji huduma mwingine wa ujanibishaji.
Toleo hili lilifikia haraka ukurasa wa mbele wa Hacker News, ambapo wapenda mitindo wa karibu waligawanya chati za viwango. Inafika huku kukiwa na msukumo wa ajabu wa mradi: Unsloth inasema kwamba quantizations zake za Qwen3.8 zilipakuliwa zaidi ya mara milioni 5.1 katika siku tano baada ya kutolewa kwa mtindo huo. For more context on this story, see our ongoing more AI stories.
Kwa nini ubora wa quantization ni muhimu
Ukadiriaji hupunguza saizi ya faili ya modeli kwa kuhifadhi uzani wake kwa usahihi wa chini, na hivyo kufanya iwezekane kuendesha miundo mikubwa kwenye GPU za watumiaji na kompyuta ndogo. Ubadilishanaji umekuwa wa usahihi kila wakati: ukadiriaji mzito unashusha matokeo kwa njia ambazo alama za kawaida zinaweza kukosa. Kwa miundo inayoendelea ya jumuiya ndani ya nchi - kuanzia utiririshaji wa wakala wa majaribio wa wasanidi programu hadi watumiaji katika maeneo yenye ufikiaji wa API ya wingu ghali - ubora wa wingi huamua vyema miundo ambayo inaweza kutumika hata kidogo.
Dynamic 3.0 ni jibu la Unsloth kwa biashara hiyo. Kulingana na nyaraka za timu, toleo jipya "linahifadhi ubora zaidi wa kielelezo huku likiwa na ukubwa sawa, na matokeo thabiti katika vipimo kama vile Divergence-300 @32 na KL Divergence."
Ni nini kilibadilika katika toleo la 3.0
Maboresho ya mbinu ni punjepunje badala ya ya kuchekesha. Unsloth inasema sasa inatumia mkusanyiko wa data wa urekebishaji wa ubora wa juu zaidi wa matriki inayotolewa kutoka vyanzo mbalimbali, iliyosafishwa kwa uwazi kwa usimbaji wa mawakala, gumzo na utendakazi wa lugha nyingi. Uteuzi wa tabaka - kuamua ni sehemu zipi za modeli zitakazobanwa zaidi - umeboreshwa, na mbinu za ziada za kuhesabu zilianzishwa ili kuhifadhi ubora.
Hasa, timu inasisitiza kwamba kila kitu kinafanywa kupitia quantization baada ya mafunzo: hakuna mafunzo ya kufahamu quantization na hakuna kunereka kwa kufahamu quantization. Seti ya data ya urekebishaji yenyewe haijafunzwa, na faili ya imatrix inatolewa hadharani ili jumuiya iweze kutoa kazi tena au kuunda nyimbo nzuri juu yake.
Viwango maalum vya kiasi vinaonyesha athari ya vitendo. Kiasi cha UD-Q2_K_XL, cha GB 9.83, kinafafanuliwa kuwa karibu asilimia 8 sahihi zaidi kwenye kipimo cha asilimia 1 ya juu kuliko chaguo bora zaidi katika saizi hiyo. Katika jaribio moja lisilo rasmi la Unsloth, kiasi hicho kilitoa programu ya HTML inayofanya kazi na hitilafu moja ndogo ya JavaScript - matokeo ambayo vizazi vilivyotangulia vya idadi sawa ya ukubwa vingevunja kabisa.
Kwa kiwango cha chini sana, kiasi cha UD-IQ1_S hubana muundo hadi GB 6.2 - asilimia 89 ndogo kuliko ya awali - huku ikibakiza takriban asilimia 72 ya usahihi wa juu wa asilimia 1. Unsloth pia iliondoa moduli ya utabiri wa ishara nyingi kutoka kwa idadi ndogo chini ya GB 8.37 ili kuhifadhi takriban MB 500 za nafasi ya diski, na moduli hiyo inapatikana kando kwa watumiaji wanaoitaka.
Kigezo kigumu zaidi, si kirafiki tu
Labda sehemu muhimu zaidi ya tangazo ni ya kimbinu. Unsloth anabisha kuwa usahihi wa juu wa asilimia 1 - kimsingi jaribio la utabiri wa argmax - sio kipimo bora cha ubora halisi wa makisio. Ili kukabiliana na uwekaji wa alama kupita kiasi, timu iliunda Divergence-300 @32: seti ya data iliyoshikiliwa ya mifano 300 iliyotolewa kutoka Terminal-Bench 2.1, DeepSWE, Harbour, MathArena 2025-26, na vidokezo vya hati ndefu zisizo za Kilatini, ambazo hazionekani katika data ya urekebishaji.
Kipimo hiki huendesha usimbaji wa pupa kwa tokeni 32 na hupima jinsi matokeo ya kila kiasi yanalingana na modeli ya awali ya BF16 - trajectories za karibu zinamaanisha kuwa kiasi kinafanya kazi kama kielelezo kamili juu ya uzalishaji wa ishara nyingi, si tu kwa utabiri mmoja. Vigezo vya tofauti vya KL vinavyoendeshwa na watoa huduma wote vinaonyesha viwango vya UD-3 vya Unsloth vinapata hadi asilimia 10 ya usahihi wa juu-1 katika nafasi sawa ya diski, na faida kubwa zaidi kwa saizi ndogo.
Timu pia ilichapisha uchanganuzi wa kuzidisha kulinganisha viwango vipya dhidi ya matoleo yake ya zamani ya Dynamic 2.0 kwenye WikiText na msimbo ambao haujaonekana, na inasema itaendelea kurudia idadi kubwa ambapo faida zilikuwa za kawaida zaidi.
Rekodi ya kufuatilia na tahadhari
Unsloth imepata uaminifu katika jumuiya ya miundo ya ndani kupitia ushirikiano wa moja kwa moja na wachuuzi wa mfano - timu ya kurekebisha orodha iliyochangia Qwen3, Meta's Llama 4, Mistral's Devstral, mfululizo wa Gemma wa Google na miundo ya Microsoft ya Phi, kazi ambayo kihistoria imesuluhisha hitilafu za usahihi katika uzani uliotolewa hivi karibuni.
Tahadhari ya kawaida inatumika: hizi ni alama zinazosimamiwa na muuzaji, na vihesabu vya mpinzani hupima tofauti. Lakini kutolewa kwa faili za urekebishaji, seti za tathmini zilizosimamishwa, na data ya mseto wa kila-kiasi hurahisisha uthibitishaji wa kujitegemea - na uwazi huo ndio hasa umeweka mradi katikati ya mfumo ikolojia wa LLM wa ndani unapokua kuelekea matumizi ya kawaida.
Kwa wasanidi programu wanaoendesha Qwen3.8 au modeli yoyote ya uzani wazi ya mipaka kwenye maunzi ya ndani, toleo la Dynamic 3.0 huinua vyema sakafu kwa kile ambacho muundo ulioidhinishwa unaweza kufanya - na huweka shinikizo kwa kila mtoaji huduma mwingine wa upimaji ili kuchapisha ukali sawa.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
