Google telah memperluas jajaran TPU generasi kedelapan dengan dua sistem khusus baru: TPU 8i Max, yang menggabungkan dua chip inferensi dalam satu paket untuk beban kerja agen konteks panjang, dan TPU 8tx, yang dibuat untuk inferensi rahasia dan terisolasi perangkat keras yang ditujukan untuk perusahaan dan pemerintah yang teregulasi. Perangkat Keras Tom melaporkan penambahan tersebut pada hari Kamis.
Langkah ini melengkapi rangkaian produk yang dimulai Google pada bulan April dengan TPU 8t, yang dirancang untuk pelatihan AI skala besar, dan TPU 8i, yang dibuat untuk pekerjaan inferensi tujuan umum seperti pengambilan sampel, penyajian, dan penalaran. Dengan varian baru ini, jajaran generasi kedelapan kini mencakup pelatihan, inferensi standar, inferensi aman, dan inferensi agen bandwidth maksimum — sebuah matriks opsi yang mencerminkan betapa berbedanya perusahaan saat ini dalam menggunakan perangkat keras AI. Berita chip ini adalah bagian dari liputan perkembangan AI terbaru kami di seluruh pasar perangkat keras AI.
Apa yang dilakukan chip baru
TPU 8i Max menempatkan dua chip 8i dalam satu paket, menggandakan komputasi, SRAM, dan bandwidth memori bandwidth tinggi dari 8i asli. Desain ini menargetkan pekerjaan agen dengan konteks yang panjang — skenario di mana agen AI membawa konteks kerja yang sangat besar dalam tugas-tugas multi-langkah.
Perangkat Keras Tom membingkai penggandaan bandwidth sebagai cara mengatasi apa yang disebut Google sebagai dinding memori, hambatan bandwidth yang menjadi akut "ketika lusinan agen AI bekerja sama di seluruh basis kode perangkat lunak." Jendela konteks yang lebih besar — dengan model yang lebih besar yang menargetkan sekitar 1 juta token — berarti cache KV yang lebih besar, sebagian disimpan di SRAM, dan setiap token baru yang dihasilkan harus membaca kembali cache tersebut dari memori. Menggandakan bandwidth HBM dalam satu paket justru menyerang hambatan tersebut, dan publikasi tersebut mencatat bahwa ini adalah cara yang berbeda dari pendekatan Nvidia yang memasangkan jenis chip kedua untuk decoding dengan tingkat penyimpanan untuk konteksnya.
Sementara itu, TPU 8tx dibuat dengan silikon yang sama dengan 8t berorientasi pelatihan yang diumumkan sebelumnya, namun dikonfigurasikan untuk komputasi rahasia: inferensi yang diisolasi dengan perangkat keras untuk perusahaan dan pemerintah yang teregulasi yang memerlukan bukti bahwa data dan model mereka dilindungi selama pemrosesan. Sistem ini menukar CPU host Axion berbasis Arm yang digunakan oleh 8t dan 8i dengan prosesor AMD EPYC Generasi ke-5 dan mengadopsi jaringan Boardfly Google.
Khususnya, Google belum membagikan spesifikasi rinci, harga atau tanggal pengiriman untuk sistem baru tersebut, sehingga pembeli saat ini hanya memiliki rendering dan positioning daripada produk yang dapat dipesan.
Rendering yang diterbitkan Google bersamaan dengan pengumuman tersebut menunjukkan papan TPU 8tx yang membawa empat chip, bersama dengan empat papan TPU 8i Max, masing-masing membawa dua chip dalam satu paket – sebuah ilustrasi fisik tentang seberapa jauh keluarga generasi kedelapan telah menyimpang dari model akselerator satu chip yang cocok untuk semua generasi sebelumnya.
TPU Sync: lapisan perangkat lunak untuk memori agen
Selain silikon, Google juga mengandalkan perangkat lunak untuk memecahkan masalah memori agen. TPU Sync adalah "lapisan status model untuk kluster TPU" sumber terbuka yang secara otomatis mengelompokkan cache KV besar-besaran dari chip dalam hitungan milidetik, memindahkannya ke DRAM host dan, secara eksperimental, penyimpanan bersama.
Menurut Google, hal ini dapat mengurangi latensi transfer KV-cache hingga lebih dari 90%, dan juga meningkatkan waktu hingga token pertama — penundaan yang dialami pengguna sebelum sistem AI mulai merespons. Untuk beban kerja agen, ketika satu sesi mungkin melibatkan lusinan panggilan model berurutan yang masing-masing memerlukan akses ke konteks akumulasi yang sama, manajemen cache menjadi sama pentingnya dengan komputasi mentah.
Mengapa hal ini penting bagi pasar perangkat keras AI
TPU telah menjadi bisnis yang berkembang pesat bagi Google, yang memiliki hampir 100 pelanggan untuk chip tersebut – termasuk Meta, yang penerapan Google TPU di pusat datanya menandai salah satu serangan kompetitif paling signifikan ke wilayah Nvidia. Pendekatan yang lebih modular yang diambil Google pada keluarga generasi kedelapan, kata perusahaan itu, memungkinkannya menghadirkan sistem khusus "dalam hitungan bulan, bukan tahun", sehingga membantu pertumbuhan pelanggan tersebut.
Waktu pengumumannya sangat mengejutkan. Ekspansi chip Google dilakukan pada hari yang sama ketika Nvidia mengumumkan bahwa CEO Jensen Huang telah mengundurkan diri, dan CFO Colette Kress ditunjuk sebagai CEO sementara – sebuah gangguan kepemimpinan yang luar biasa di perusahaan yang GPU-nya mendominasi pasar yang digantikan oleh TPU Google. Kedua peristiwa tersebut tidak berkaitan satu sama lain, namun keduanya menunjukkan betapa kompetitif dan fluktuatifnya pasar infrastruktur AI saat ini.
Bagi perusahaan yang mengevaluasi infrastruktur AI, penambahan ini menandakan bahwa rangkaian pilihan semakin luas: silikon yang dioptimalkan untuk pelatihan, inferensi umum, inferensi aman untuk data yang diatur, dan paket bandwidth maksimum untuk armada agen menjadi kategori produk yang berbeda dan bukan akselerator satu ukuran untuk semua. Saat Google memublikasikan rincian harga dan ketersediaan, pertanyaan praktis bagi pembeli adalah apakah bandwidth 8i Max yang berlipat ganda berarti throughput yang cukup bagi armada agen untuk membenarkan penerapan premium dibandingkan penerapan 8i standar.
Modularitas juga memiliki logika sisi penawaran. Daripada menunggu bertahun-tahun hingga desain generasi berikutnya dapat melakukan siklus seluruh tumpukan perangkat keras, Google dapat menggabungkan kembali silikon yang ada — seperti yang dilakukan dengan memindahkan silikon 8t ke dalam paket inferensi aman dengan CPU host yang berbeda — untuk menjangkau segmen khusus lebih cepat, sekaligus mempertahankan tumpukan perangkat lunak umum di semua varian. Kecepatan tersebut merupakan senjata kompetitif di pasar di mana kebutuhan pelanggan berubah setiap triwulan.
---
Tetap Terdepan dalam AIDapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.
Baca berita AI selengkapnya →
