Google Meluncurkan TPU 8tx dan TPU 8i Max, Melengkapi Empat Sistem Jajaran Chip AI Generasi Kedelapan

Google telah memperluas portofolio TPU generasi kedelapannya dengan dua sistem baru — TPU 8tx untuk inferensi yang aman dan rahasia dan TPU 8i Max untuk jendela konteks masif — menandai pertama kalinya perusahaan mengirimkan empat sistem TPU dalam satu tahun.

Dalam sebuah posting blog yang diterbitkan Senin, Google mengatakan dua tambahan tersebut dirancang untuk profil beban kerja yang hampir tidak ada ketika TPU pertama diluncurkan satu dekade lalu: armada agen otonom yang memikirkan jendela konteks yang sangat besar dan menangani data perusahaan yang sensitif. “Dengan komputasi yang berpindah dari skala manusia ke skala agen, bisnis meminta akselerator yang dapat mempertimbangkan seluruh jendela konteks model AI yang sangat besar,” tulis perusahaan tersebut. “Selain itu, beberapa pelanggan dengan regulasi ketat meminta kemampuan enkripsi khusus untuk beban kerja yang unik.” For more context on this story, see our ongoing more AI stories.

Sistem untuk Setiap Tahap Siklus Hidup Agenik

Generasi kedelapan dimulai di Google Cloud Next pada bulan April dengan TPU 8t, yang dibuat untuk pelatihan skala besar, dan TPU 8i, yang dibuat untuk pertimbangan real-time. Google menyebutkan kinerja pelatihan hingga 2,7 kali lebih baik untuk 8t dan kinerja harga inferensi 80% lebih baik untuk 8i dibandingkan dengan generasi sebelumnya.

Kedua pendatang baru itu membagi wilayah yang tersisa. Seperti yang dikatakan Google, keempat sistem tersebut bersama-sama memberi pelanggan "akselerator yang dibuat khusus untuk setiap tahap siklus hidup agen": TPU 8t untuk pelatihan peningkatan skala, TPU 8i untuk penalaran latensi rendah, TPU 8tx untuk komputasi rahasia, dan TPU 8i Max untuk jendela konteks besar dan kepadatan komputasi per rak tertinggi.

TPU 8tx: Keamanan yang Dibangun pada Perangkat Keras

TPU 8tx dioptimalkan untuk inferensi yang aman dan rahasia dan, menurut catatan Google, juga cocok untuk pelatihan skala kecil. Target pelanggannya jelas: perusahaan-perusahaan teregulasi dan pemerintah yang menjalankan model terdepan atau eksklusif dan agen otonom serta data mereka yang paling sensitif.

Pendekatan teknik mengatasi ketegangan yang sudah berlangsung lama dalam komputasi yang aman. Data biasanya dienkripsi saat disimpan atau dikirim, namun harus dibuka kuncinya di memori saat komputer memprosesnya — pada saat data tersebut paling terekspos. Dibangun pada silikon yang sama dengan TPU 8t dan dipasangkan dengan host CPU AMD EPYC Generasi ke-5, TPU 8tx membangun keamanan langsung ke lapisan perangkat keras, menjaga data sensitif dan bobot model tetap terlindungi dan terisolasi bahkan saat digunakan secara aktif.

Sistem ini menggunakan jaringan "Boardfly" berlatensi rendah yang sama yang dibuat Google untuk penalaran waktu nyata, yang berarti sistem ini dapat menangani komputasi tingkat pelatihan dan inferensi cepat secara bersamaan. Google mengatakan hal ini memungkinkan organisasi menyempurnakan model dengan data pribadi, menyaring model besar menjadi model yang lebih kecil, dan melatih agen melalui pembelajaran penguatan pada satu sistem — tanpa memigrasikan data sensitif antar cluster terpisah.

TPU 8i Max: Menyerang Dinding Memori

TPU 8i Max mengatasi kendala yang sama sekali berbeda. “Ketika lusinan agen AI bekerja sama di seluruh basis kode perangkat lunak atau berjam-jam video sekaligus, bandwidth memori dengan cepat menjadi penghambat,” tulis Google. Jawaban perusahaan bersifat arsitektural: dua chip TPU 8i latensi rendah digabungkan ke dalam satu paket.

Hasilnya adalah sistem yang menskalakan komputasi dan memori secara bersamaan — menghasilkan komputasi dua kali lipat, SRAM dua kali lipat, dan bandwidth HBM dua kali lipat dari TPU 8i. Dan karena TPU 8i Max mampu menampung silikon dua kali lipat dalam ukuran rak yang ada, Google mengatakan pusat data dapat menggunakan daya komputasi yang jauh lebih besar per kaki persegi dan per watt, sebuah pertimbangan yang berarti ketika daya dan luas lantai menjadi kendala utama dalam perluasan kapasitas AI.

Mengapa Sistem, Bukan Chip

Nuansa penting dalam pengumuman hari Senin adalah bahwa Google membingkainya sebagai sistem baru dan bukan chip baru. Merancang sebuah chip, jelas perusahaan, adalah proses multi-tahun dalam menyusun miliaran transistor yang terikat oleh fisika dan jadwal produksi. Sebuah sistem — bagaimana komputasi, jaringan, penyimpanan, dan pengemasan diatur dalam sebuah chip — dapat disesuaikan jauh lebih cepat.

Modularitas tersebut adalah inti dari strategi AI Hypercomputer Google, dan inilah yang memungkinkan empat sistem khusus dikirimkan dalam satu generasi. Google juga menyoroti seberapa banyak infrastruktur AI miliknya yang kini digunakan untuk membangun perangkat keras: perusahaan tersebut menggunakan sistem pembelajaran penguatan AlphaChip dari DeepMind, dan mengatakan Gemini kini membantu menghadirkan tata letak chip "dalam hitungan jam, bukan minggu". Google menyebutnya sebagai "desain bersama yang sebenarnya" dan pembeda yang unik.

Konteks Kompetitif

Ekspansi ini terjadi di tengah semakin ketatnya persaingan dalam akselerator AI. Penerapan TPU telah menarik perhatian karena perannya dalam melayani model di luar Google sendiri — perusahaan mencatat bahwa TPU kini mendukung pelatihan dan penyajian untuk model Gemini, beban kerja agen, layanan pelanggan Google Cloud, dan yang terbaru adalah penerapan langsung TPU ke pusat data milik pelanggan. Google mendeskripsikan TPU sebagai "bisnis yang berkembang pesat".

Liputan pengumuman tersebut, termasuk artikel dari TechPowerUp dan Electronics Weekly, menggambarkan langkah ini dalam istilah yang sangat kompetitif — Google memperluas jajaran silikon kustomnya karena mampu menangani beban kerja AI yang mungkin berjalan pada perangkat keras NVIDIA. NVIDIA, pada bagiannya, terus mengirimkan sistem skala raknya sendiri ke generasi berikutnya, sehingga pembeli infrastruktur AI memiliki pilihan yang semakin kredibel antara pedagang dan silikon khusus.

Apa Artinya Bagi Pengembang

Bagi pengembang, signifikansi praktisnya bukan pada tolok ukur apa pun, melainkan lebih pada kesesuaian. Tim yang membangun produk agen yang mengerjakan dokumen panjang, basis kode besar, atau konteks video yang diperluas telah mencapai batas bandwidth memori yang tidak dapat dipecahkan oleh FLOPS mentah — masalah yang menjadi tujuan pembuatan 8i Max. Tim di bidang keuangan, layanan kesehatan, dan pemerintahan yang tidak dapat memindahkan beban kerja sensitif ke infrastruktur bersama karena data harus didekripsi selama pemrosesan, kini memiliki opsi yang didukung perangkat keras dalam 8tx.

Google menggabungkan berita perangkat keras dengan pesan aksesibilitas perangkat lunak, mengacu pada pengumuman PyTorch baru-baru ini dan tujuan yang dinyatakan untuk menjadikan TPU "mudah digunakan seperti perangkat keras untuk tujuan umum". Perusahaan mengadakan siaran pada hari Senin untuk merinci sistem baru dan mengatakan pelanggan dapat menjelajahi jajaran infrastruktur lengkap di situs web Google Cloud.

Tetap Terdepan dalam AI

Silikon khusus menjadi medan pertempuran strategis dalam pengembangan AI. Tetap terdepan dalam hal AI dengan AI Buzz Wire — terobosan dalam cakupan perangkat keras AI, model, dan perusahaan yang memproduksinya.

Baca berita AI selengkapnya →