Google wprowadza TPU 8tx i TPU 8i Max, uzupełniając ofertę chipów AI ósmej generacji składających się z czterech systemów

Google rozszerzyło swoją ofertę TPU ósmej generacji o dwa nowe systemy – TPU 8tx do bezpiecznego, poufnego wnioskowania oraz TPU 8i Max do obsługi ogromnych okien kontekstowych – co oznacza, że ​​po raz pierwszy firma dostarczyła cztery systemy TPU w ciągu jednego roku.

W opublikowanym w poniedziałek poście na blogu Google stwierdził, że te dwa dodatki zaprojektowano z myślą o profilu obciążenia, który ledwo istniał, gdy dziesięć lat temu wypuszczono pierwszy TPU: floty autonomicznych agentów analizujących ogromne okna kontekstowe i obsługujących wrażliwe dane przedsiębiorstwa. „W miarę przenoszenia obliczeń ze skali ludzkiej do skali agentów firmy proszą o akceleratory, które mogą analizować ogromne okna kontekstowe modeli sztucznej inteligencji” – napisała firma. „Ponadto niektórzy klienci podlegający ścisłym regulacjom proszą o specjalistyczne możliwości szyfrowania dla unikalnych obciążeń”. Więcej kontekstu na ten temat znajdziesz w naszych najnowsze osiągnięcia AI.

System dla każdego etapu cyklu życia agenta

Ósma generacja rozpoczęła się w kwietniu w Google Cloud Next z TPU 8t, stworzonym do szkoleń na dużą skalę, oraz TPU 8i, stworzonym do wnioskowania w czasie rzeczywistym. Firma Google podała nawet 2,7 razy lepszą wydajność treningu w przypadku modelu 8t i o 80% lepszy stosunek ceny do wydajności w przypadku modelu 8i w porównaniu z poprzednią generacją.

Dwóch nowo przybyłych podzieliło pozostałe terytorium. Jak ujął to Google, te cztery systemy łącznie zapewniają klientom „specjalnie stworzony akcelerator na każdym etapie cyklu życia agenta”: TPU 8t do szkolenia w zakresie skalowania, TPU 8i do wnioskowania o niskim opóźnieniu, TPU 8tx do poufnego przetwarzania danych i TPU 8i Max do ogromnych okien kontekstowych i najwyższej gęstości obliczeniowej na szafę.

TPU 8tx: zabezpieczenia wbudowane w sprzęt

TPU 8tx jest zoptymalizowany pod kątem bezpiecznego i poufnego wnioskowania i, jak zauważa Google, dobrze nadaje się również do szkoleń na małą skalę. Klient docelowy jest jasno określony: przedsiębiorstwa podlegające regulacjom i rządy działające w oparciu o modele pionierskie lub zastrzeżone oraz autonomiczni agenci wraz z najbardziej wrażliwymi danymi.

Podejście inżynieryjne rozwiązuje utrzymujące się od dawna napięcia w obszarze bezpiecznego przetwarzania danych. Dane są zwykle szyfrowane podczas przechowywania lub przesyłania, ale muszą zostać odblokowane w pamięci na czas przetwarzania ich przez komputer – w momencie, gdy są najbardziej narażone. Zbudowany na tym samym krzemie co TPU 8t i w połączeniu z procesorami AMD EPYC piątej generacji, TPU 8tx zapewnia bezpieczeństwo bezpośrednio w warstwie sprzętowej, chroniąc i izolując wrażliwe dane i wagi modeli nawet podczas aktywnego użytkowania.

System wykorzystuje tę samą sieć „Boardfly” o niskim opóźnieniu, którą Google stworzył do wnioskowania w czasie rzeczywistym, co oznacza, że ​​może jednocześnie obsługiwać obliczenia na poziomie szkoleniowym i szybkie wnioskowanie. Google twierdzi, że pozwala to organizacjom dostrajać modele na podstawie prywatnych danych, przekształcać duże modele w mniejsze i szkolić agentów poprzez uczenie się przez wzmacnianie w jednym systemie – bez migracji wrażliwych danych między oddzielnymi klastrami.

TPU 8i Max: atak na ścianę pamięci

TPU 8i Max radzi sobie z zupełnie innym ograniczeniem. „Kiedy dziesiątki agentów AI współpracują nad całą bazą kodu oprogramowania lub godzinami wideo jednocześnie, przepustowość pamięci szybko staje się wąskim gardłem” – napisało Google. Odpowiedzią firmy jest architektura: dwa chipy TPU 8i o niskim opóźnieniu połączone w jedną obudowę.

Rezultatem jest system, który skaluje moc obliczeniową i pamięć krok po kroku — zapewniając dwukrotnie większą moc obliczeniową, dwukrotnie większą pamięć SRAM i dwukrotnie większą przepustowość HBM niż TPU 8i. A ponieważ TPU 8i Max mieści dwa razy więcej krzemu w istniejącej szafie, Google twierdzi, że centra danych mogą wdrożyć znacznie większą moc obliczeniową na metr kwadratowy i na wat, co jest istotnym czynnikiem, gdy moc i powierzchnia są wiążącymi ograniczeniami w rozszerzaniu możliwości sztucznej inteligencji.

Dlaczego systemy, a nie chipy

Ważnym niuansem w poniedziałkowym ogłoszeniu jest to, że Google postrzega je jako nowe systemy, a nie nowe chipy. Firma wyjaśnia, że ​​projektowanie chipa to wieloletni proces układania miliardów tranzystorów powiązanych fizyką i harmonogramem produkcji. System — sposób rozmieszczenia obliczeń, sieci, pamięci masowej i pakowania wokół chipa — można dostosować znacznie szybciej.

Ta modułowość stanowi rdzeń strategii Google dotyczącej hiperkomputerów AI i to właśnie umożliwiło dostarczenie czterech wyspecjalizowanych systemów w ciągu jednej generacji. Google podkreśliło również, jak duża część własnej infrastruktury sztucznej inteligencji jest obecnie wykorzystywana do tworzenia sprzętu: firma korzysta z systemu uczenia się przez wzmacnianie AlphaChip firmy DeepMind i twierdzi, że Gemini pomaga teraz w dostarczaniu układów chipów „w ciągu kilku godzin, a nie tygodni”. Google nazywa to „prawdziwym wspólnym projektowaniem” i wyjątkowym wyróżnikiem.

Kontekst rywalizacji

Ekspansja następuje w okresie nasilającej się konkurencji na rynku akceleratorów AI. Wdrożenia TPU zwróciły uwagę na ich rolę w obsłudze modeli poza murami Google — firma zauważa, że ​​TPU wspierają obecnie szkolenia i obsługę modeli Gemini, obciążeń agentów, obsługi klienta Google Cloud, a ostatnio bezpośrednie wdrożenia TPU we własnych centrach danych klientów. Google opisuje TPU jako „szybko rozwijającą się firmę”.

Relacje z ogłoszenia, w tym artykuły z TechPowerUp i Electronics Weekly, ujęły to posunięcie w wyraźnie konkurencyjne warunki – Google rozszerza swoją ofertę niestandardowych produktów krzemowych, uwzględniając obciążenia AI, które w przeciwnym razie mogłyby działać na sprzęcie NVIDIA. NVIDIA ze swojej strony w dalszym ciągu dostarcza kolejne generacje własnych systemów do montażu w szafie, pozostawiając nabywcom infrastruktury AI coraz bardziej wiarygodny wybór między krzemem dostępnym w sprzedaży a niestandardowym.

Co to oznacza dla programistów

Dla programistów praktyczne znaczenie nie polega na pojedynczym benchmarku, a bardziej na dopasowaniu. Zespoły tworzące produkty agentowe, które radzą sobie z długimi dokumentami, dużymi bazami kodu lub rozszerzonym kontekstem wideo, osiągają pułapy przepustowości pamięci, których surowe FLOPS nie rozwiązują – problemu, dla którego 8i Max został stworzony. Zespoły z branży finansowej, opieki zdrowotnej i rządowej, które nie mogły przenieść wrażliwych obciążeń do współdzielonej infrastruktury, ponieważ dane musiały zostać odszyfrowane podczas przetwarzania, mają teraz opcję sprzętową w standardzie 8tx.

Google połączył wiadomości dotyczące sprzętu z komunikatami dotyczącymi dostępności oprogramowania, wskazując na niedawne ogłoszenia PyTorch i deklarowany cel, aby TPU były „tak łatwe w obsłudze jak sprzęt ogólnego przeznaczenia”. W poniedziałek firma zorganizowała transmisję, w której szczegółowo opisał nowe systemy i stwierdziła, że ​​klienci mogą zapoznać się z pełną ofertą infrastruktury w witrynie Google Cloud.

Wyprzedź sztuczną inteligencję

Niestandardowy krzem staje się strategicznym polem bitwy przy budowie sztucznej inteligencji. Wyprzedź sztuczną inteligencję dzięki AI Buzz Wire — najświeższym informacjom o sprzęcie AI, modelach i firmach je budujących.

Przeczytaj więcej aktualności o sztucznej inteligencji →