Ekonomika infrastruktury AI uległa zmianie. Według Camerona McCaskill, dyrektora wykonawczego Positron AI, około dwie trzecie obciążeń wykonywanych obecnie przez infrastrukturę sztucznej inteligencji to wnioskowanie, a nie szkolenie, który podzielił się tymi liczbami w wywiadzie dla CUBE Research na konferencji poświęconej superkomputerom SC26. Trzy lata temu podział był niemal dokładnie odwrotny: około 85% na szkoleniach i 15% na wnioskowaniu.
To odwrócenie powoduje ciche przerysowanie mapy obszarów obliczeniowych sztucznej inteligencji i wyjaśnia, dlaczego nowa generacja producentów chipów nastawionych na wnioskowanie nagle zdobywa oferty w chmurze od firm znacznie większych od nich samych.
Liczby za klapką
„Jesteśmy w punkcie, w którym około dwie trzecie obciążeń wykonywanych przez infrastruktury sztucznej inteligencji to wnioskowanie, a jedna trzecia to szkolenia” – powiedział McCaskill, dyrektor ds. sprzedaży i rozwoju biznesu w firmie Positron, w wywiadzie dla Rebeki Knight i Johna Furriera z CUBE Research. „W 2023 r. było to około 85% szkolenia i 15% wnioskowania. Teraz widać, dlaczego wnioskowanie wpływa na decyzje ekonomiczne dotyczące sposobu rozbudowy infrastruktury”.
Zmiana ta ma intuicyjny sens. Szkolenia odbywają się w kilku pionierskich laboratoriach z klastrami wartymi miliardy dolarów. Wnioskowanie zachodzi wszędzie, za każdym razem, gdy użytkownik podpowiada model — a wraz z gwałtownym wzrostem adopcji wśród konsumentów i przedsiębiorstw, łączne zapotrzebowanie na tokeny przerosło infrastrukturę zbudowaną na potrzeby ery szkoleniowej. Zasilanie, chłodzenie i zasilanie pamięci mają teraz wpływ na to, gdzie generowane są tokeny, w równym stopniu, jak na wydajność surowego chipa, a to wpływa na to, który sprzęt wygrywa transakcje.
Pozyton stawia na pamięć towarową
Positron AI, która we wrześniu zebrała 875 milionów dolarów przy wycenie 5 miliardów dolarów, zbudowała całą swoją strategię wokół ery wnioskowania. Główny wybór projektowy firmy: pomiń pamięć o dużej przepustowości (HBM), rzadki i kosztowny typ pamięci, na którym opiera się większość akceleratorów AI, i zamiast tego zbuduj urządzenia wnioskowania w oparciu o pamięć standardową.
„Wszyscy inni w branży korzystają z tak zwanej pamięci HBM, czyli pamięci o dużej przepustowości. Jest ona dostępna w bardzo ograniczonych ilościach i jest bardzo droga” – powiedział McCaskill. „Poszliśmy z pamięcią towarową”.
Kompromisy są zamierzone. Pamięć towarowa jest tańsza i znacznie łatwiejsza w pozyskaniu, a architektura Positron utrzymuje moc na wystarczająco niskim poziomie, aby zapewnić pomieszczenia chłodzone powietrzem — nie jest wymagane żadne egzotyczne chłodzenie cieczą. Pojedynczy serwer Positron pobiera około 4500 watów, a pełna szafa nowych serwerów Titan mieści się w granicach 40 kilowatów.
Plan działania szybko się rozwija. Serwer Atlas pierwszej generacji firmy Positron działał na programowalnym chipie, a firma planuje na początku przyszłego roku nagrać własny układ krzemowy dla serwera Titan. Według McCaskill firma uruchomiła już duże wdrożenia: według McCaskill Oracle w tym kwartale uruchomi około 340 serwerów Atlas w swojej chmurze, a dostawca neocloud podpisał kontrakt z Atlas, jednocześnie angażując się w nadchodzącą generację Titan.
Modułowe centra danych stają się naturalnym miejscem wnioskowania
Być może najważniejszą częścią wywiadu jest stwierdzenie McCaskilla, że popyt pochodzi: nie z hiperskalowych kampusów, ale z małych, szybkich i modułowych obiektów.
„Jedną z grup firm, w których obecnie rośnie liczba firm, które zgłaszają się do nas po produkty, są modułowe centra danych, w których znajdują się modułowe centra danych o mocy pół megawata, 1 megawata lub 2,5 megawata, które można bardzo szybko wdrożyć” – powiedział. „Celem wielu graczy wnioskowujących jest to, że chcę w ciągu 90–120 dni przejść od ziemi i władzy do monetyzujących tokenów”.
Taki harmonogram – mniej więcej jedna czwarta od rozpoczęcia działalności do przychodów – jest niemożliwy w przypadku kampusu szkoleniowego o mocy gigawatów, którego wydawanie pozwolenia, budowa i zasilanie może zająć lata. Obciążenia wnioskowania są mniejsze, bardziej elastyczne pod względem geograficznym i tolerancyjne dla lokalizacji, w których operatorzy mogą znaleźć kilka megawatów taniej energii bez poważnych przeszkód regulacyjnych. Rezultatem jest wyłaniający się poziom rozproszonej infrastruktury wnioskowania zlokalizowanej w lokalizacjach telekomunikacyjnych, obiektach kolokacyjnych i jednostkach modułowych bliżej miejsc, gdzie faktycznie występuje zapotrzebowanie.
Co to oznacza dla branży
Dla dostawców chipów wiadomość jest taka, że rynek sprzętu AI się rozdziela. Szkolenia w dalszym ciągu nagradzają najbardziej zaawansowanych akceleratorów i najgłębsze kieszenie. Wnioskowanie nagradza różne zalety: efektywność energetyczną, koszt pamięci, szybkość wdrażania i możliwość pracy w zwykłych budynkach chłodzonych powietrzem. Dostawcy zoptymalizowani wyłącznie pod kątem wyścigu szkoleniowego mogą stwierdzić, że największa liczba przyszłych decyzji wdrożeniowych – w których faktycznie zarabia się na tokenach – będzie podejmowana na sprzęcie zaprojektowanym pod kątem innego zestawu ograniczeń.
Dla przedsiębiorstw i klientów korzystających z chmury zmiana jest w większości niewidoczna, ale coraz bardziej istotna: zdolność wnioskowania uzyskiwana w przyrostach od 90 do 120 dni oznacza bardziej konkurencyjne ceny i więcej opcji geograficznych uruchamiania modeli w pobliżu użytkowników i danych.
A w narracji o rozwoju branży sztucznej inteligencji – często przedstawianej jako niekończący się wyścig o kampusy gigawatowe – odwrócenie wnioskowania przypomina, że krzywa popytu się poszerza, a nie tylko skaluje. Kamień milowy w dwóch trzecich cytowany na konferencji SC26 to szacunki jednego z dyrektorów, ale pokrywają się one z kierunkiem zgłaszanym przez każdego głównego operatora chmury: środek ciężkości tworzenia sztucznej inteligencji przesuwa się z szkolenia modeli do ich obsługi.
Wyprzedź sztuczną inteligencjęŚledź na bieżąco najnowsze osiągnięcia AI dzięki AI Buzz Wire, Twojemu źródłu wiadomości o sprzęcie i infrastrukturze AI.
Przeczytaj więcej aktualności o sztucznej inteligencji →