Google wis nggedhekake jajaran TPU generasi kaping wolu kanthi rong sistem khusus anyar: TPU 8i Max, sing nggabungake rong chip inferensi ing paket siji kanggo beban kerja agen konteks sing dawa, lan TPU 8tx, dibangun kanggo inferensi rahasia, hardware-isolasi sing ditujokake kanggo perusahaan lan pemerintah sing diatur. Tom's Hardware nglaporake tambahan kasebut ing Kamis.
Pamindhahan kasebut ngrampungake kulawarga sing diwiwiti Google ing wulan April kanthi TPU 8t, dirancang kanggo latihan AI skala gedhe, lan TPU 8i, dibangun kanggo karya inferensi umum kayata sampling, porsi lan pertimbangan. Kanthi varian anyar, jajaran generasi kaping wolu saiki kalebu latihan, inferensi standar, inferensi aman lan inferensi agen bandwidth maksimum - matriks pilihan sing nggambarake carane beda perusahaan saiki nggunakake hardware AI. Warta chip iki minangka bagean saka [pangembangan AI paling anyar] (https://aibuzzwire.news) ing pasar hardware AI.
Apa Kripik anyar apa
TPU 8i Max nempatno loro Kripik 8i ing siji paket, tikel komputasi, SRAM lan bandwidth memori dhuwur-bandwidth saka 8i asli. Desain kasebut nargetake karya agenik konteks dawa - skenario ing ngendi agen AI nindakake konteks kerja sing gedhe banget ing tugas multi-langkah.
Tom's Hardware nggawe bandwidth tikel kaping pindho minangka cara ngubengi apa sing diarani Google tembok memori, kemacetan bandwidth sing dadi akut "nalika puluhan agen AI kerja bareng ing kabeh basis kode piranti lunak." Jendhela konteks sing luwih gedhe - kanthi model sing luwih gedhe ngarahake watara 1 yuta token - tegese cache KV sing luwih gedhe, sebagian ditahan ing SRAM, lan saben token anyar sing diasilake kudu maca cache kasebut saka memori. Tikel bandwidth HBM ing siji paket serangan sabenere bottleneck, lan publikasi nyatet iku rute beda saka pendekatan Nvidia saka pasangan jinis chip kapindho kanggo dekoding karo undakan panyimpenan kanggo konteks.
Kangge, TPU 8tx dibangun ing silikon sing padha karo 8t berorientasi pelatihan sing sadurunge diumumake, nanging dikonfigurasi kanggo komputasi rahasia: inferensi sing diisolasi hardware kanggo perusahaan sing diatur lan pamrentah sing mbutuhake bukti data lan modele dilindhungi sajrone proses. Sistem kasebut ngganti CPU host Axion adhedhasar Arm sing digunakake dening 8t lan 8i kanggo prosesor AMD EPYC Generasi kaping 5 lan nggunakake jaringan Boardfly Google.
Utamane, Google durung nuduhake spesifikasi rinci, rega utawa tanggal kapal kanggo sistem anyar, mula para panuku saiki duwe rendering lan posisi tinimbang produk sing bisa dipesen.
Renderings sing diterbitake Google bebarengan karo woro-woro kasebut nuduhake papan TPU 8tx sing nggawa papat chip, bebarengan karo papat papan TPU 8i Max, saben nggawa rong chip ing paket siji - ilustrasi fisik babagan carane adoh kulawarga generasi kaping wolu wis diverged saka model akselerator siji-chip-cocok-kabeh saka generasi sadurunge.
TPU Sync: lapisan piranti lunak kanggo memori agen
Saliyane silikon, Google condong ing piranti lunak kanggo ngatasi masalah memori agen. TPU Sync minangka "lapisan negara model kanggo klompok TPU" sing mbukak-sumber sing kanthi otomatis nambah cache KV sing akeh banget saka chip ing milidetik, mindhah menyang host DRAM lan, kanthi eksperimen, panyimpenan bareng.
Miturut Google, iki bisa nyuda latensi transfer KV-cache kanthi luwih saka 90%, kanthi asil sing cocog ing wektu-kanggo-pisanan - wektu tundha sing dialami pangguna sadurunge sistem AI wiwit nanggapi. Kanggo beban kerja agen, ing ngendi sesi siji bisa nyakup puluhan panggilan model urutan sing saben mbutuhake akses menyang konteks akumulasi sing padha, manajemen cache dadi penting kaya komputasi mentah.
Apa iku penting kanggo pasar hardware AI
TPU wis dadi bisnis sing berkembang cepet kanggo Google, sing ngaku meh 100 pelanggan kanggo chip kasebut - kalebu Meta, sing adopsi Google TPU ing pusat data kasebut minangka salah sawijining serangan kompetitif sing paling signifikan ing wilayah Nvidia. Pendekatan sing luwih modular sing ditindakake Google karo kulawarga generasi kaping wolu, ujare perusahaan, ngidini ngirim sistem khusus "ing sawetara wulan tinimbang pirang-pirang taun," mbantu pertumbuhan pelanggan.
Wektu woro-woro kasebut pancen apik banget. Ekspansi chip Google ndharat ing dina sing padha Nvidia ngumumake yen CEO Jensen Huang wis mundur, karo CFO Colette Kress diangkat dadi CEO interim - gangguan kepemimpinan sing luar biasa ing perusahaan sing GPUs ndominasi pasar TPU Google. Loro acara kasebut ora ana hubungane, nanging bareng-bareng nggambarake kepiye kompetitif lan kepiye pasar infrastruktur AI sing ora stabil.
Kanggo perusahaan sing ngevaluasi infrastruktur AI, tambahan sinyal yen set pilihan saya tambah akeh: silikon sing dioptimalake kanggo latihan, inferensi umum, inferensi aman kanggo data sing diatur, lan paket bandwidth maksimum kanggo armada agen dadi kategori produk sing beda tinimbang akselerator siji-ukuran-cocok-kabeh. Nalika Google nerbitake rincian rega lan kasedhiyan, pitakonan praktis kanggo para panuku yaiku apa bandwidth tikel kaping pindho 8i Max dadi throughput sing cukup kanggo armada agen kanggo mbenerake premi tinimbang panyebaran 8i standar.
Modularitas uga duwe logika sisih pasokan. Tinimbang ngenteni taun kanggo desain generasi sabanjure kanggo siklus liwat tumpukan hardware lengkap, Google bisa recombine silikon ana - kaya sing ditindakake kanthi mindhah silikon 8t menyang paket inferensi aman karo CPU host sing beda - kanggo nggayuh segmen ceruk luwih cepet, nalika tetep tumpukan piranti lunak umum ing kabeh varian. Kacepetan kasebut minangka senjata kompetitif ing pasar sing syarat pelanggan ganti saben wulan.
---
Tetep Ahead of AIEntuk warta, analisis, lan terobosan AI paling anyar - kabeh ing sak panggonan.
Waca liyane AI warta →
