Google imepanua safu yake ya TPU ya kizazi cha nane kwa mifumo miwili mipya maalumu: TPU 8i Max, ambayo inachanganya chip mbili za uelekezaji kwenye kifurushi kimoja kwa mzigo wa kikali wa muktadha wa muda mrefu, na TPU 8tx, iliyojengwa kwa hitimisho la siri, la pekee la maunzi inayolenga biashara na serikali zinazodhibitiwa. Tom's Hardware iliripoti nyongeza siku ya Alhamisi.
Hatua hiyo inahusisha familia ambayo Google ilianza mwezi wa Aprili kwa kutumia TPU 8t, iliyoundwa kwa ajili ya mafunzo makubwa ya AI, na TPU 8i, iliyoundwa kwa ajili ya kazi ya marejeleo ya madhumuni ya jumla kama vile sampuli, utoaji na hoja. Pamoja na vibadala vipya, safu ya kizazi cha nane sasa inashughulikia mafunzo, makisio ya kawaida, makisio salama na uelekezaji wa wakala wa kipimo data cha juu - matriki ya chaguzi zinazoakisi jinsi biashara sasa zinavyotumia maunzi ya AI kwa njia tofauti. Habari hizi za chipu ni sehemu ya maendeleo ya hivi punde ya AI katika soko la vifaa vya AI.
Chips mpya hufanya nini
TPU 8i Max huweka chip mbili za 8i kwenye kifurushi kimoja, na kuongeza hesabu maradufu, SRAM na kipimo data cha kumbukumbu ya 8i asilia. Muundo unalenga kazi ya wakala ya muktadha mrefu - matukio ambayo mawakala wa AI hubeba miktadha mikubwa sana ya kazi katika kazi za hatua nyingi.
Tom's Hardware iliweka mpangilio wa kipimo data maradufu kama njia ya kuzunguka kile ambacho Google inakiita ukuta wa kumbukumbu, kizuizi cha kipimo data ambacho kinakuwa mkali "wakati mawakala kadhaa wa AI wanafanya kazi pamoja kwenye msingi mzima wa programu." Dirisha kubwa zaidi za muktadha - zenye miundo mikubwa inayolenga tokeni karibu milioni 1 - inamaanisha akiba kubwa zaidi za KV, ambazo zimeshikwa katika SRAM, na kila tokeni mpya inayotolewa lazima isome akiba hiyo kutoka kwa kumbukumbu. Kuongeza kipimo data cha HBM katika kifurushi kimoja hushambulia kizuizi hicho, na uchapishaji ulibaini kuwa ni njia tofauti na mbinu ya Nvidia ya kuoanisha aina ya chipu ya pili kwa ajili ya kusimbua na kiwango cha hifadhi kwa muktadha.
Wakati huo huo, TPU 8tx imejengwa juu ya silikoni sawa na 8t yenye mwelekeo wa mafunzo iliyotangazwa hapo awali, lakini imesanidiwa kwa ajili ya kompyuta ya siri: makisio yaliyotengwa na maunzi kwa biashara zinazodhibitiwa na serikali zinazohitaji uthibitisho kwamba data na miundo yao inalindwa wakati wa kuchakata. Mfumo huu hubadilisha CPU za seva pangishi za Arm zinazotumiwa na 8t na 8i kwa kichakataji cha 5 cha AMD EPYC na kutumia mtandao wa Boardfly wa Google.
Hasa, Google bado haijashiriki maelezo ya kina, bei au tarehe za usafirishaji kwa mfumo mpya, kwa hivyo wanunuzi kwa sasa wana matoleo na nafasi badala ya bidhaa zinazoweza kuagizwa.
Renderings Google iliyochapishwa pamoja na tangazo inaonyesha bodi ya TPU 8tx iliyobeba chips nne, pamoja na bodi nne za TPU 8i Max, kila moja ikiwa na chipsi mbili kwenye kifurushi kimoja - kielelezo halisi cha jinsi familia ya kizazi cha nane imejitenga kutoka kwa mtindo wa kuongeza kasi ya chip-fits-yote ya vizazi vya awali.
Usawazishaji wa TPU: safu ya programu kwa kumbukumbu ya wakala
Kando ya silicon, Google inategemea programu kutatua tatizo la kumbukumbu ya wakala. TPU Sync ni chanzo huria "safu ya hali ya mfano kwa makundi ya TPU" ambayo huweka kiotomatiki safu kubwa za KV kutoka kwenye chip katika milisekunde, zikisogeza chini hadi kupangisha DRAM na, kwa majaribio, kuhifadhi pamoja.
Kulingana na Google, hii inaweza kupunguza muda wa kusubiri wa uhamishaji wa kache ya KV kwa zaidi ya 90%, kukiwa na faida zinazolingana katika ishara ya muda hadi ya kwanza - kucheleweshwa kwa mtumiaji kabla ya mfumo wa AI kuanza kujibu. Kwa mzigo wa kazi wa mawakala, ambapo kipindi kimoja kinaweza kuhusisha simu nyingi za modeli zinazofuatana ambazo kila moja inahitaji ufikiaji wa muktadha sawa uliokusanywa, usimamizi wa akiba unakuwa muhimu kama hesabu ghafi.
Kwa nini ni muhimu kwa soko la vifaa vya AI
TPU zimekuwa biashara inayokua kwa kasi kwa Google, ambayo inadai karibu wateja 100 wa chipsi hizo - ikiwa ni pamoja na Meta, ambayo kupitishwa kwa TPU za Google katika vituo vyake vya data kuliashiria mojawapo ya uvamizi muhimu wa ushindani katika eneo la Nvidia. Mbinu ya kawaida zaidi ambayo Google inachukua na familia ya kizazi cha nane, kampuni hiyo inasema, inaruhusu kutoa mifumo maalum "katika muda wa miezi badala ya miaka," kusaidia ukuaji huo wa wateja pamoja.
Muda wa tangazo unashangaza. Upanuzi wa chip za Google ulitua siku hiyo hiyo Nvidia alitangaza kwamba Mkurugenzi Mtendaji Jensen Huang amejiuzulu, huku CFO Colette Kress akiteuliwa kuwa Mkurugenzi Mtendaji wa muda - usumbufu wa ajabu wa uongozi katika kampuni hiyo ambayo GPU zao zinatawala soko TPU za Google zinapotea. Matukio haya mawili hayahusiani katika sababu, lakini kwa pamoja yanasisitiza jinsi soko la miundombinu ya AI lilivyo na ushindani na hali tete.
Kwa makampuni ya biashara yanayotathmini miundombinu ya AI, nyongeza zinaonyesha kuwa chaguo linapanuka: silikoni iliyoboreshwa kwa mafunzo, makisio ya jumla, makisio salama kwa data iliyodhibitiwa, na vifurushi vya upeo wa data wa data kwa makundi ya mawakala vinakuwa kategoria tofauti za bidhaa badala ya vichapuzi vya ukubwa mmoja. Google inapochapisha maelezo ya bei na upatikanaji, swali la vitendo kwa wanunuzi litakuwa ikiwa kipimo data kilichoongezwa maradufu cha 8i Max kitatafsiriwa katika matokeo ya kutosha kwa mashirika ya mawakala ili kuhalalisha malipo juu ya uwekaji wa kawaida wa 8i.
Modularity pia ina mantiki ya upande wa usambazaji. Badala ya kusubiri kwa miaka mingi kwa muundo wa kizazi kijacho ili kuzunguka kwenye rundo kamili la maunzi, Google inaweza kuchanganya silikoni iliyopo - kama ilivyofanya kwa kusogeza silicon ya 8t kwenye kifurushi cha marejeleo salama na CPU mwenyeji tofauti - ili kufikia sehemu za niche haraka, huku ikiweka rundo la kawaida la programu kwenye anuwai zote. Kasi hiyo yenyewe ni silaha ya ushindani katika soko ambapo mahitaji ya wateja yanabadilika kila robo mwaka.
---
Kaa Mbele ya AIPata habari za hivi punde za AI, uchanganuzi na mafanikio - yote katika sehemu moja.
Soma habari zaidi za AI →
