Google telah mengembangkan barisan TPU generasi kelapannya dengan dua sistem khusus baharu: TPU 8i Max, yang menggabungkan dua cip inferens pada satu pakej untuk beban kerja agen konteks panjang, dan TPU 8tx, dibina untuk inferens sulit terpencil perkakasan yang bertujuan untuk perusahaan dan kerajaan yang dikawal selia. Perkakasan Tom melaporkan penambahan pada hari Khamis.
Langkah itu melengkapkan keluarga yang Google mulakan pada bulan April dengan TPU 8t, yang direka untuk latihan AI berskala besar, dan TPU 8i, dibina untuk kerja inferens tujuan umum seperti pensampelan, penyajian dan penaakulan. Dengan varian baharu, barisan generasi kelapan kini meliputi latihan, inferens standard, inferens selamat dan inferens agen lebar jalur maksimum — matriks pilihan yang mencerminkan cara berbeza perusahaan kini menggunakan perkakasan AI. Berita cip ini adalah sebahagian daripada liputan perkembangan AI terkini kami di seluruh pasaran perkakasan AI.
Apa yang dilakukan oleh cip baharu
TPU 8i Max meletakkan dua cip 8i pada satu pakej, menggandakan pengiraan, SRAM dan lebar jalur memori lebar jalur tinggi bagi 8i asal. Reka bentuk menyasarkan kerja agenik konteks panjang — senario di mana ejen AI membawa konteks kerja yang sangat besar merentasi tugas berbilang langkah.
Perkakasan Tom membingkaikan penggandaan lebar jalur sebagai cara mengatasi apa yang disebut oleh Google sebagai dinding memori, kesesakan lebar jalur yang menjadi akut "apabila berpuluh-puluh ejen AI bekerjasama merentasi seluruh pangkalan kod perisian." Tetingkap konteks yang lebih besar — dengan model yang lebih besar menyasarkan kira-kira 1 juta token — bermakna cache KV yang lebih besar, sebahagiannya disimpan dalam SRAM, dan setiap token baharu yang dijana mesti membaca cache itu kembali daripada memori. Menggandakan lebar jalur HBM dalam satu pakej menyerang dengan tepat kesesakan itu, dan penerbitan menyatakan ia adalah laluan yang berbeza daripada pendekatan Nvidia untuk memasangkan jenis cip kedua untuk penyahkodan dengan peringkat storan untuk konteks.
Sementara itu, TPU 8tx dibina pada silikon yang sama seperti 8t berorientasikan latihan yang diumumkan sebelum ini, tetapi dikonfigurasikan untuk pengkomputeran sulit: inferens terpencil perkakasan untuk perusahaan terkawal dan kerajaan yang memerlukan bukti bahawa data dan model mereka dilindungi semasa pemprosesan. Sistem ini menukar CPU hos Axion berasaskan Arm yang digunakan oleh 8t dan 8i untuk pemproses AMD EPYC Generasi Ke-5 dan menggunakan rangkaian Boardfly Google.
Terutamanya, Google masih belum berkongsi spesifikasi terperinci, harga atau tarikh penghantaran untuk sama ada sistem baharu, jadi pembeli pada masa ini mempunyai pemaparan dan kedudukan berbanding produk yang boleh dipesan.
Rendering yang diterbitkan oleh Google bersama pengumuman menunjukkan papan TPU 8tx yang membawa empat cip, bersama empat papan TPU 8i Max, masing-masing membawa dua cip pada satu pakej — ilustrasi fizikal sejauh mana keluarga generasi kelapan telah menyimpang daripada model pemecut satu cip-muat-semua generasi terdahulu.
TPU Sync: lapisan perisian untuk ingatan ejen
Di samping silikon, Google bersandar pada perisian untuk menyelesaikan masalah ingatan ejen. TPU Sync ialah "lapisan keadaan model untuk gugusan TPU" sumber terbuka yang secara automatik menaikkan cache KV besar-besaran daripada cip dalam milisaat, memindahkannya ke DRAM hos dan, secara eksperimen, storan dikongsi.
Menurut Google, ini boleh mengurangkan kependaman pemindahan cache KV sebanyak lebih daripada 90%, dengan keuntungan yang sepadan dalam token masa ke pertama — kelewatan yang dialami pengguna sebelum sistem AI mula bertindak balas. Untuk beban kerja agen, di mana satu sesi mungkin melibatkan berpuluh-puluh panggilan model berjujukan yang masing-masing memerlukan akses kepada konteks terkumpul yang sama, pengurusan cache menjadi sama pentingnya dengan pengiraan mentah.
Mengapa ia penting untuk pasaran perkakasan AI
TPU telah menjadi perniagaan yang berkembang pesat untuk Google, yang menuntut hampir 100 pelanggan untuk cip itu — termasuk Meta, yang menerima pakai TPU Google dalam pusat datanya menandakan salah satu pencerobohan kompetitif yang paling ketara ke dalam wilayah Nvidia. Pendekatan yang lebih modular yang diambil Google dengan keluarga generasi kelapan, kata syarikat itu, membolehkannya menyampaikan sistem khusus "dalam beberapa bulan dan bukannya bertahun-tahun," membantu pertumbuhan pelanggan itu.
Masa pengumuman adalah menarik. Pengembangan cip Google mendarat pada hari yang sama Nvidia mengumumkan bahawa Ketua Pegawai Eksekutif Jensen Huang telah meletak jawatan, dengan CFO Colette Kress dilantik sebagai Ketua Pegawai Eksekutif interim — gangguan kepimpinan yang luar biasa di syarikat yang GPUnya menguasai pasaran yang dipecahkan oleh TPU Google. Kedua-dua peristiwa itu tidak berkaitan dengan sebab, tetapi bersama-sama ia menggariskan betapa kompetitif dan betapa tidak menentunya pasaran infrastruktur AI.
Bagi perusahaan yang menilai infrastruktur AI, penambahan memberi isyarat bahawa set pilihan semakin meluas: silikon yang dioptimumkan untuk latihan, inferens umum, inferens selamat untuk data terkawal dan pakej lebar jalur maksimum untuk armada ejen menjadi kategori produk yang berbeza dan bukannya pemecut satu saiz untuk semua. Apabila Google menerbitkan butiran harga dan ketersediaan, persoalan praktikal untuk pembeli ialah sama ada lebar jalur berganda 8i Max diterjemahkan kepada daya pemprosesan yang mencukupi untuk armada agen untuk mewajarkan premium berbanding penggunaan standard 8i.
Modulariti juga mempunyai logik sisi bekalan. Daripada menunggu bertahun-tahun untuk reka bentuk generasi akan datang untuk mengitar tindanan perkakasan penuh, Google boleh menggabungkan semula silikon sedia ada — seperti yang dilakukan dengan memindahkan silikon 8t ke dalam pakej inferens selamat dengan CPU hos yang berbeza — untuk mencapai segmen khusus dengan lebih pantas, sambil mengekalkan susunan perisian biasa merentas semua varian. Kepantasan itu sendiri merupakan senjata yang kompetitif dalam pasaran di mana keperluan pelanggan berubah setiap suku tahun.
---
Kekal Mendahului AIDapatkan berita, analisis dan penemuan terkini AI — semuanya di satu tempat.
Baca lebih banyak berita AI →
