Google Melancarkan TPU 8tx dan TPU 8i Max, Melengkapkan Barisan Cip AI Generasi Kelapan Empat Sistem

Google telah mengembangkan portfolio TPU generasi kelapannya dengan dua sistem baharu — TPU 8tx untuk inferens yang selamat dan sulit dan TPU 8i Max untuk tingkap konteks besar-besaran — menandakan kali pertama syarikat itu menghantar empat sistem TPU dalam satu tahun.

Dalam catatan blog yang diterbitkan pada hari Isnin, Google berkata kedua-dua penambahan itu direka bentuk untuk profil beban kerja yang hampir tidak wujud apabila TPU pertama dilancarkan sedekad lalu: kumpulan ejen autonomi membuat pertimbangan terhadap tingkap konteks yang besar dan mengendalikan data perusahaan yang sensitif. "Dengan pengkomputeran bergerak dari skala manusia kepada ejen, perniagaan meminta pemecut yang boleh membuat alasan di seluruh tingkap konteks besar model AI," tulis syarikat itu. "Selain itu, beberapa pelanggan yang sangat dikawal selia meminta keupayaan penyulitan khusus untuk beban kerja yang unik." For more context on this story, see our ongoing more AI stories.

Sistem untuk Setiap Peringkat Kitaran Hayat Agentik

Generasi kelapan bermula di Google Cloud Next pada bulan April dengan TPU 8t, dibina untuk latihan berskala besar dan TPU 8i, dibina untuk penaakulan masa nyata. Google memetik prestasi latihan sehingga 2.7 kali lebih baik untuk prestasi harga inferens 8t dan 80% lebih baik untuk 8i berbanding dengan generasi sebelumnya.

Kedua-dua pendatang baharu itu membelah wilayah yang tinggal. Seperti yang dinyatakan oleh Google, keempat-empat sistem itu bersama-sama memberikan pelanggan "pemecut yang dibina khusus untuk setiap peringkat kitaran hayat agenik": TPU 8t untuk latihan skala, TPU 8i untuk alasan kependaman rendah, TPU 8tx untuk pengkomputeran sulit dan TPU 8i Max untuk tetingkap konteks besar dan ketumpatan pengiraan tertinggi bagi setiap rak.

TPU 8tx: Keselamatan Dibina Dalam Perkakasan

TPU 8tx dioptimumkan untuk kesimpulan yang selamat dan sulit dan, nota Google, juga sangat sesuai untuk latihan berskala kecil. Pelanggan sasaran adalah eksplisit: perusahaan dan kerajaan terkawal menjalankan model sempadan atau proprietari dan ejen autonomi bersama data paling sensitif mereka.

Pendekatan kejuruteraan menangani ketegangan yang berpanjangan dalam pengkomputeran selamat. Data biasanya disulitkan apabila disimpan atau dihantar, tetapi perlu dibuka kunci dalam ingatan semasa komputer memprosesnya — pada saat ia paling terdedah. Dibina pada silikon yang sama seperti TPU 8t dan dipasangkan dengan hos CPU AMD EPYC Generasi Ke-5, TPU 8tx membina keselamatan terus ke dalam lapisan perkakasan, memastikan data sensitif dan berat model dilindungi dan diasingkan walaupun semasa digunakan secara aktif.

Sistem ini menggunakan rangkaian "Boardfly" kependaman rendah yang sama yang dibuat oleh Google untuk penaakulan masa nyata, yang bermaksud ia boleh mengendalikan pengiraan gred latihan dan inferens pantas secara serentak. Google berkata ini membolehkan organisasi memperhalusi model dengan data peribadi, menyaring model besar kepada model yang lebih kecil dan melatih ejen melalui pembelajaran pengukuhan pada satu sistem — tanpa memindahkan data sensitif antara kelompok yang berasingan.

TPU 8i Max: Menyerang Dinding Memori

TPU 8i Max menangani kekangan yang berbeza sepenuhnya. "Apabila berpuluh-puluh ejen AI bekerja bersama-sama merentasi seluruh pangkalan kod perisian atau jam video serentak, lebar jalur memori dengan cepat menjadi halangan," tulis Google. Jawapan syarikat adalah seni bina: dua cip TPU 8i kependaman rendah digabungkan ke dalam satu pakej.

Hasilnya ialah sistem yang menskalakan pengiraan dan memori dalam langkah berkunci — memberikan pengiraan dua kali ganda, menggandakan SRAM dan menggandakan lebar jalur HBM TPU 8i. Dan kerana TPU 8i Max muat dua kali ganda silikon dalam jejak rak sedia ada, Google berkata pusat data boleh menggunakan lebih banyak kuasa pengkomputeran bagi setiap kaki persegi dan setiap watt, satu pertimbangan yang bermakna apabila kuasa dan ruang lantai adalah kekangan yang mengikat pada pengembangan kapasiti AI.

Mengapa Sistem, Bukan Cip

Satu nuansa penting dalam pengumuman hari Isnin ialah Google merangka ini sebagai sistem baharu dan bukannya cip baharu. Mereka bentuk cip, jelas syarikat itu, ialah proses berbilang tahun untuk meletakkan berbilion-bilion transistor yang terikat oleh fizik dan garis masa pembuatan. Sistem — cara pengiraan, rangkaian, storan dan pembungkusan disusun di sekeliling cip — boleh dilaraskan dengan lebih pantas.

Modulariti itu adalah teras strategi Hiperkomputer AI Google, dan inilah yang membolehkan empat sistem khusus dihantar dalam satu generasi. Google juga menyerlahkan betapa banyak infrastruktur AInya sendiri kini kembali ke dalam membina perkakasan: syarikat itu menggunakan sistem pembelajaran pengukuhan AlphaChip DeepMind, dan berkata Gemini kini membantu menyampaikan susun atur cip "dalam beberapa jam berbanding minggu." Google memanggil ini "reka bentuk bersama sebenar" dan pembeza yang unik.

Konteks Persaingan

Pengembangan mendarat di tengah-tengah persaingan yang semakin sengit dalam pemecut AI. Arahan TPU telah menarik perhatian kerana peranan mereka dalam menyediakan model di luar dinding Google sendiri — syarikat itu menyatakan bahawa TPU kini melatih tenaga dan berkhidmat untuk model Gemini, beban kerja ejen, perkhidmatan pelanggan Google Cloud dan terbaharu penempatan terus TPU ke pusat data pelanggan sendiri. Google menerangkan TPU sebagai "perniagaan yang berkembang pesat."

Liputan pengumuman itu, termasuk bahagian daripada TechPowerUp dan Electronics Weekly, merangka langkah itu dalam istilah kompetitif yang jelas — Google memperluaskan barisan silikon tersuainya kerana ia menimbangkan beban kerja AI yang mungkin berjalan pada perkakasan NVIDIA. NVIDIA, bagi pihaknya, telah meneruskan penghantaran generasi berturut-turut sistem skala raknya sendiri, menjadikan pembeli infrastruktur AI dengan pilihan yang semakin boleh dipercayai antara pedagang dan silikon tersuai.

Maksudnya untuk Pembangun

Bagi pembangun, kepentingan praktikal adalah kurang mengenai mana-mana penanda aras tunggal dan lebih kepada kesesuaian. Pasukan membina produk agen yang mengisar dokumen panjang, pangkalan kod besar atau konteks video lanjutan telah mencapai siling lebar jalur memori yang tidak dapat diselesaikan oleh FLOPS mentah — masalah 8i Max dibina untuknya. Pasukan dalam kewangan, penjagaan kesihatan dan kerajaan yang tidak dapat mengalihkan beban kerja sensitif ke infrastruktur dikongsi kerana data terpaksa dinyahsulit semasa pemprosesan kini mempunyai pilihan yang disokong perkakasan dalam 8tx.

Google menggabungkan berita perkakasan dengan pemesejan kebolehaksesan perisian, menunjuk kepada pengumuman PyTorch baru-baru ini dan matlamatnya yang dinyatakan untuk menjadikan TPU "semudah digunakan sebagai perkakasan tujuan umum." Syarikat itu menganjurkan siaran pada hari Isnin untuk memperincikan sistem baharu dan berkata pelanggan boleh menerokai barisan infrastruktur penuh di tapak web Google Cloud.

Kekal Mendahului AI

Silikon tersuai menjadi medan pertempuran strategik pembinaan AI. Kekal mendahului AI dengan AI Buzz Wire — memecahkan liputan perkakasan AI, model dan syarikat yang membinanya.

Baca lebih banyak berita AI →