Maelezo ya Mashine ya Kufikiri Mwisho-hadi-Mwisho wa 4-Bit kwenye Nvidia GB300 Hardware

Thinking Machines Lab, kampuni ya utafiti iliyoanzishwa na afisa mkuu wa zamani wa teknolojia ya OpenAI Mira Murati, imechapisha maelezo ya kina ya kiufundi ya jinsi inavyofunza miundo ya lugha kubwa karibu kabisa katika usahihi wa 4-bit - mbinu ambayo kampuni inasema inafungua kasi kubwa na kuokoa kumbukumbu kwenye vifaa vya kituo cha data cha Nvidia kipya zaidi.

Chapisho la blogu, lenye kichwa "Mafunzo ya Mwisho-hadi-Mwisho wa 4-Bit" na kuchapishwa kwenye tovuti ya kampuni mnamo Novemba 13, hupitia mabadiliko ya nambari nyuma ya mafunzo ya usahihi wa chini na kuelezea jinsi timu ilivyoyasimamia ilipokuwa ikitoa mfano wake wa Inkling 2 Small. Kwa wasomaji wanaofuata maendeleo ya hivi punde ya AI, chapisho linatoa mwonekano wa nadra wa umma katika maamuzi ya uhandisi ambayo huamua ni kiasi gani cha gharama ya mafunzo ya kiwango cha mpaka.

Kwa nini Bits Chache Inamaanisha Mafunzo ya Haraka

Kufunza muundo mkubwa wa lugha kunahusisha kukokotoa na kuhifadhi idadi kubwa sana ya nambari. Kutumia biti chache kwa kila thamani hupunguza matumizi ya kumbukumbu na huruhusu GPU kufanya hesabu haraka zaidi. Gharama ni usahihi: biti chache humaanisha nambari chache zinazoweza kuwakilishwa, kwa hivyo thamani lazima zizungushwe kwa ukali zaidi.

Kampuni inaonyesha shida kwa mfano rahisi. Ikiwa fomati inaweza kuwakilisha nambari 3 na 4 pekee, kuhifadhi 3.2 kunahitaji kuzungushwa hadi 3, kutambulisha hitilafu ya quantization ya 0.2. Hitilafu moja ya kuzungusha ni ndogo, lakini wakati wa mafunzo makosa haya hujilimbikiza katika tabaka na hatua za uboreshaji, na yanaweza kuingilia mchakato wa kujifunza wenyewe.

"Hii ndiyo changamoto kuu ya mafunzo ya usahihi wa chini: tunawezaje kufaidika na hesabu ya haraka bila kuanzisha makosa ambayo yanaingilia ujifunzaji?" kampuni iliandika kwenye chapisho.

Miundo Tatu, Run Moja ya Mafunzo

Badala ya kujitolea kwa kiwango kimoja cha usahihi, Mashine za Kufikiri hutumia miundo mitatu ya nambari katika hatua tofauti za mafunzo: BF16, MXFP8, na NVFP4. Kila fomati ina usahihi wa kudumu, lakini kasi yake inategemea vifaa vinavyoendesha.

Kampuni inatoa mafunzo kwenye jukwaa la Nvidia la Grace Blackwell Ultra, GB300, ambalo limeundwa mahsusi kuharakisha kuzidisha matrix katika NVFP4. Kulingana na chapisho, NVFP4 huhifadhi maadili na bits mara 3.6 chini ya BF16 huku ikiendesha hadi mara 6 kwa kasi kwenye mifumo ya GB300. Katika masharti ghafi ya matokeo, kampuni inaorodhesha utendaji wa GB300 katika takriban PFLOPS 15 katika NVFP4, PFLOPS 5 katika MXFP8, na PFLOPS 2.5 katika BF16.

Kinachovutia ni kwamba ukandamizaji mkali wa NVFP4 huleta hitilafu nyingi zaidi za hesabu kuliko fomati pana. Hitilafu hiyo inakubalika katika baadhi ya hatua za mafunzo na haikubaliki kwa wengine, ndiyo sababu kampuni inashughulikia kila hatua tofauti.

Hatua Tofauti, Kanuni tofauti

Chapisho la blogu linagawanya mafunzo katika hatua nne - pasi za mbele na nyuma za mafunzo ya awali, sampuli ya mafunzo ya kuimarisha, na mkufunzi wa RL - na inapeana kila uwiano tofauti wa vipaumbele kati ya kupunguza makosa, kupunguza upendeleo, kuongeza kasi, na kupunguza matumizi ya kumbukumbu.

Kasi ni muhimu zaidi katika hatua za kiwango cha juu: mafunzo ya awali, ambayo yanatumia zaidi ya matrilioni ya tokeni, na sampuli za RL, ambayo hutoa idadi kubwa ya uchapishaji. Kupita nyuma, hata hivyo, ni kesi maalum. Chapisho linaeleza kuwa kurudi nyuma hupita wastani juu ya tokeni nyingi kwenye kundi, jambo ambalo hupunguza athari za hitilafu za mzunguko zinazosambazwa bila mpangilio - lakini ni nyeti sana kwa upendeleo wa quantization, mteremko wa utaratibu unaotokea wakati maadili yanazunguka katika mwelekeo mmoja. Tofauti na kelele nasibu, upendeleo huo unaweza kuchanganya katika tabaka, sampuli na hatua za mafunzo.

Kampuni hiyo inasema ilisimamia biashara hizi wakati ikitoa mafunzo kwa Inkling 2 Small, modeli ya uzani wa wazi ya mchanganyiko wa wataalam ambayo ilitoa mapema mwezi huu chini ya leseni ya Apache 2.0. Chapisho halidai kwamba kila sehemu ya kukimbia ilienda kwa bits 4; badala yake, inaelezea mkakati wa mwisho hadi mwisho ambapo usahihi wa kila sehemu huchaguliwa kimakusudi badala ya kurithiwa kwa chaguo-msingi.

Kwa nini Mafunzo ya Usahihi wa Chini ni Mambo

Uchumi hapa ni moja kwa moja. Compute ndio gharama kuu katika ukuzaji wa muundo wa mipaka, na wachuuzi wa maunzi wamekuwa wakikimbia ili kuongeza kasi ya chini ya usahihi kwa kila kizazi kipya cha chip. Nvidia ameweka usaidizi wa NVFP4 katika jukwaa lake la Blackwell Ultra kama kipengele cha kichwa, na vichapuzi pinzani kutoka AMD, Google, na wengine hutangaza umbizo lao la usahihi lililopunguzwa.

Iwapo maabara za utafiti zinaweza kusukuma zaidi bomba la mafunzo kwa hesabu ya biti 4, bajeti sawa ya maunzi hununua majaribio zaidi, tokeni zaidi au miundo mikubwa zaidi. Hiyo ni faida ya maana katika soko ambapo ufikiaji wa viongeza kasi vya hali ya juu ni haba na ni ghali. Pia inachanganyikana na msukumo mpana wa tasnia kuelekea mbinu za ufanisi kama vile makisio ya kufahamu quantization na usimbaji wa kubahatisha, zote mbili ambazo hupunguza uwezo zaidi kutoka kwa maunzi maalum.

Chapisho pia ni ishara ya wapi jumuiya ya watafiti inaelekea. Mafunzo ya usahihi wa chini kwa muda mrefu yalionekana kuwa hatari sana kwa jambo lolote zaidi ya makisio, kwa sababu makosa ya kuzungusha yalichukuliwa kuwa yanapotosha ujifunzaji. Uchambuzi makini wa hatua kwa hatua - kama ule wa Mashine ya Kufikiri iliyochapishwa - ni jinsi dhana hiyo inavyojaribiwa na, inapowezekana, kupinduliwa.

Kuanzia Chapisho la Blogu hadi Kufungua Uzito

Kinachofanya ufichuzi ujulikane ni kwamba sio wa kinadharia tu. Kampuni iliunganisha mbinu hiyo moja kwa moja kwa mtindo ambao imesafirisha. Inkling 2 Small ilitolewa ikiwa na uzani unaoweza kupakuliwa mapema Novemba, na chapisho jipya linaelezea mkakati wa nambari nyuma ya mafunzo yake. Wataalamu wanaopakua kielelezo, kwa kweli, wanapata vizalia vya kazi vya mbinu ya usahihi wa chini ambayo kampuni inaelezea.

Mashine za Kufikiri zimefunguliwa isivyo kawaida kwa maabara ya kiwango cha mpaka, kuchapisha machapisho ya blogu ya kiufundi pamoja na matoleo yake ya mfano. Uwazi huo huwapa watafiti wa nje jambo adimu: akaunti iliyorekodiwa, inayoweza kutolewa tena ya jinsi mafunzo ya kisasa yanavyoshughulikia hali halisi za nambari za hesabu za usahihi mchanganyiko.

Kwa tasnia pana, ujumbe ni kwamba mafunzo ya 4-bit yamehama kutoka kwa udadisi wa utafiti hadi mbinu ya uzalishaji. Maabara zaidi yanapotumia mikakati kama hiyo, pengo kati ya kilele cha utendaji wa vifaa vya kinadharia na utendakazi unaotambulika wa mafunzo utapungua - na gharama ya mafunzo ya miundo yenye uwezo itaendelea kupungua.

Kaa Mbele ya AI

Mbinu nyuma ya mifano ya mipaka hubadilika kila wiki. Fuata AI Buzz Wire kwa ripoti wazi na ya chanzo kuhusu utafiti unaounda nyanja hii.

Soma habari zaidi za AI →