Firma Google rozszerzyła swoją ofertę TPU ósmej generacji o dwa nowe, wyspecjalizowane systemy: TPU 8i Max, który łączy dwa chipy wnioskowania w jednym pakiecie do obsługi obciążeń agenta w długim kontekście, oraz TPU 8tx, zbudowany z myślą o poufnym, izolowanym sprzętowo wnioskowaniu, przeznaczony dla regulowanych przedsiębiorstw i rządów. Tom's Hardware poinformował o dodatkach w czwartek.
To posunięcie uzupełnia rodzinę, którą Google rozpoczął w kwietniu od TPU 8t, przeznaczonego do szkolenia sztucznej inteligencji na dużą skalę, oraz TPU 8i, stworzonego do zadań związanych z wnioskowaniem ogólnego przeznaczenia, takich jak próbkowanie, udostępnianie i wnioskowanie. Dzięki nowym wariantom oferta ósmej generacji obejmuje teraz szkolenia, wnioskowanie standardowe, wnioskowanie bezpieczne i wnioskowanie agentowe o maksymalnej przepustowości — matrycę opcji odzwierciedlającą sposób, w jaki przedsiębiorstwa korzystają obecnie ze sprzętu AI. Te wiadomości dotyczące chipów stanowią część naszego najnowszego rozwoju sztucznej inteligencji obejmującego rynek sprzętu AI.
Co robią nowe chipy
TPU 8i Max to dwa chipy 8i w jednym opakowaniu, podwajające moc obliczeniową, SRAM i przepustowość pamięci o dużej przepustowości w porównaniu z oryginalnym 8i. Projekt jest ukierunkowany na pracę agenta w długim kontekście – scenariusze, w których agenci AI realizują bardzo duże konteksty robocze w ramach wieloetapowych zadań.
Tom's Hardware określił podwojenie przepustowości jako sposób na obejście tego, co Google nazywa ścianą pamięci, czyli wąskiego gardła w przepustowości, które staje się ostre, „kiedy dziesiątki agentów sztucznej inteligencji współpracują ze sobą w całej bazie kodu oprogramowania”. Większe okna kontekstowe — z większymi modelami ukierunkowanymi na około 1 milion tokenów — oznaczają większe pamięci podręczne KV, częściowo przechowywane w pamięci SRAM, a każdy nowy wygenerowany token musi odczytać tę pamięć podręczną z pamięci. Podwojenie przepustowości HBM w jednym pakiecie atakuje dokładnie to wąskie gardło, a w publikacji zauważono, że jest to inna droga niż podejście Nvidii polegające na łączeniu drugiego typu chipa do dekodowania z warstwą pamięci masowej dla kontekstu.
Z kolei TPU 8tx jest zbudowany na tym samym krzemie, co wcześniej ogłoszony, zorientowany na szkolenia 8t, ale jest skonfigurowany do przetwarzania poufnego: wnioskowanie izolowane sprzętowo dla regulowanych przedsiębiorstw i rządów, które potrzebują dowodu, że ich dane i modele są chronione podczas przetwarzania. System zamienia procesory hosta Axion oparte na architekturze ARM, używane w modelach 8t i 8i, na procesor AMD EPYC piątej generacji i wykorzystuje sieć Google Boardfly.
Warto zauważyć, że Google nie udostępniło jeszcze szczegółowych specyfikacji, cen ani terminów dostaw żadnego z nowych systemów, dlatego kupujący obecnie mają do dyspozycji renderingi i pozycjonowanie, a nie produkty, które można zamówić.
Rendery opublikowane przez Google wraz z ogłoszeniem pokazują płytę TPU 8tx z czterema chipami oraz cztery płyty TPU 8i Max, z których każda zawiera po dwa chipy w jednym opakowaniu – fizyczna ilustracja tego, jak daleko rodzina ósmej generacji odeszła od modelu akceleratora z jednym chipem dla wszystkich wcześniejszych generacji.
TPU Sync: warstwa oprogramowania dla pamięci agenta
Oprócz krzemu Google opiera się na oprogramowaniu, aby rozwiązać problem pamięci agenta. TPU Sync to „warstwa stanu modelu dla klastrów TPU” o otwartym kodzie źródłowym, która w ciągu milisekund automatycznie rozdziela ogromne pamięci podręczne KV z chipa i przenosi je do hosta DRAM i, eksperymentalnie, do współdzielonej pamięci.
Według Google może to skrócić opóźnienia w transferze pamięci podręcznej KV o ponad 90%, przy jednoczesnym skróceniu czasu do pierwszego tokena – czyli opóźnienia, którego doświadcza użytkownik, zanim system AI zacznie reagować. W przypadku obciążeń agentowych, gdzie pojedyncza sesja może obejmować dziesiątki sekwencyjnych wywołań modelu, z których każde wymaga dostępu do tego samego skumulowanego kontekstu, zarządzanie pamięcią podręczną staje się równie ważne jak surowe obliczenia.
Dlaczego ma to znaczenie dla rynku sprzętu AI
TPU stały się szybko rozwijającym się biznesem Google, które ma prawie 100 klientów na chipy — w tym Meta, której zastosowanie TPU TPU w swoich centrach danych oznaczało jedno z najważniejszych wtargnięć konkurencji na terytorium Nvidii. Firma twierdzi, że bardziej modułowe podejście, jakie Google stosuje w przypadku rodziny ósmej generacji, umożliwia dostarczanie wyspecjalizowanych systemów „w ciągu kilku miesięcy, a nie lat”, pomagając klientom w rozwoju.
Moment ogłoszenia jest uderzający. Ekspansja chipów Google nastąpiła tego samego dnia, w którym Nvidia ogłosiła, że dyrektor generalny Jensen Huang złożył rezygnację, a dyrektor finansowa Colette Kress została mianowana tymczasowym dyrektorem generalnym – co stanowi niezwykłe zakłócenie przywództwa w samej firmie, której procesory graficzne dominują na rynku, na którym procesory TPU Google podbijają. Przyczyna tych dwóch wydarzeń nie jest ze sobą powiązana, ale razem podkreślają, jak konkurencyjny i niestabilny stał się rynek infrastruktury sztucznej inteligencji.
Dla przedsiębiorstw oceniających infrastrukturę sztucznej inteligencji dodatki sygnalizują, że wachlarz możliwości wyboru się poszerza: krzem zoptymalizowany pod kątem szkolenia, wnioskowanie ogólne, bezpieczne wnioskowanie dla regulowanych danych i pakiety o maksymalnej przepustowości dla flot agentów stają się odrębnymi kategoriami produktów, a nie uniwersalnymi akceleratorami. Kiedy Google opublikuje szczegółowe informacje o cenach i dostępności, praktycznym pytaniem dla kupujących będzie to, czy podwojona przepustowość 8i Max przekłada się na wystarczającą przepustowość dla flot agentów, aby uzasadnić wyższą cenę w porównaniu ze standardowymi wdrożeniami 8i.
Modułowość ma również logikę po stronie podaży. Zamiast czekać latami, aż projekt nowej generacji przejdzie przez cały stos sprzętowy, Google może ponownie połączyć istniejący układ krzemowy — tak jak to miało miejsce, przenosząc 8-tonowy układ krzemowy do pakietu bezpiecznego wnioskowania z innym procesorem hosta — aby szybciej dotrzeć do niszowych segmentów, zachowując przy tym wspólny stos oprogramowania we wszystkich wariantach. Ta prędkość sama w sobie jest bronią konkurencyjną na rynku, na którym wymagania klientów zmieniają się co kwartał.
---
Wyprzedź sztuczną inteligencjęOtrzymuj najnowsze wiadomości, analizy i przełomowe informacje dotyczące sztucznej inteligencji — wszystko w jednym miejscu.
Przeczytaj więcej aktualności o sztucznej inteligencji →
