Qualcomm wprowadził na rynek Cloud AI 100 Ultra, akcelerator wnioskowania dla centrów danych, który zapewnia do 870 TOPS wydajności w trybie INT8 i 288 TFLOPS w trybie FP16, pobierając zaledwie 150 watów – co stanowi ułamek koperty mocy procesorów graficznych, które obecnie dominują w generatywnym wnioskowaniu AI.

Karta, wymieniona na oficjalnej stronie produktu Qualcomm dotyczącej centrum danych i szczegółowo opisana w zakresie premiery, została zaprojektowana specjalnie z myślą o obciążeniach związanych z generatywną sztuczną inteligencją i dużymi modelami językowymi. Pozycjonuje to giganta układów mobilnych jako bezpośredniego konkurenta na rynku wnioskowania, na którym popyt rośnie w miarę wdrażania na dużą skalę agentów AI, drugich pilotów i aplikacji wspomagających wyszukiwanie. Więcej informacji na temat wyścigu sprzętu AI można znaleźć w naszych aktualnościach dotyczących sztucznej inteligencji.

Specyfikacje: Najpierw SRAM, potem DRAM

Sercem Cloud AI 100 Ultra są 64 rdzenie AI i 576 MB wbudowanej pamięci SRAM. Qualcomm zakłada, że ​​utrzymywanie ciężarów modeli i aktywacji fizycznie blisko jednostek obliczeniowych – zamiast przenosić każdy token do pamięci zewnętrznej – opłaca się w przypadku modeli opartych na transformatorach, które żyją i umierają w zależności od przepustowości pamięci.

Karta nadal zawiera 128 GB pamięci LPDDR4x z przepustowością 548 GB/s dla większych modeli i dłuższych kontekstów, połączoną przez PCIe Gen4 z 16 liniami. Ta kombinacja — duża wbudowana pamięć SRAM i skromny pobór mocy 150 W — wyróżnia tę kartę. Procesory graficzne Nvidii dla centrów danych mają zwykle moc od 300 W do 700 W, a każdy wat ma znaczenie, gdy wnioskowanie jest rozliczane za pomocą tokena, a moc centrum danych jest zasobem najbardziej kwestionowanym w branży.

„Cloud AI 100 Ultra to zoptymalizowane pod względem wydajności i kosztów rozwiązanie do wnioskowania AI” – stwierdziła firma w materiałach dotyczących produktu, kładąc nacisk na programowalność przy różnych obciążeniach, od przetwarzania obrazu komputerowego po przetwarzanie języka naturalnego.

Oprogramowanie: rampa zgodna z OpenAI

Sprzęt nigdy nie był problemem Qualcomm w centrum danych; oprogramowanie ma. Firma rozwiązuje ten problem dzięki AI Inference Suite – warstwie oprogramowania udostępniającej interfejsy API kompatybilne z OpenAI do tworzenia chatbotów, drugich pilotów i agentów AI.

Pakiet obsługuje czat, generowanie obrazów, modele multimodalne i przepływy pracy z generowaniem wspomaganym pobieraniem (RAG) i jest wdrażany za pośrednictwem Kubernetes lub kontenerów typu bare-metal. Qualcomm dostarcza także narzędzia do zarządzania użytkownikami i administrowania — to mało efektowny dodatek, którego często brakuje w ofercie surowych akceleratorów, ale który stanowi duże obciążenie dla zespołów IT w przedsiębiorstwach, gdy przenoszą obciążenia wewnętrznie.

Powierzchnia API kompatybilna z OpenAI ma strategiczne znaczenie: pozwala programistom skierować istniejące potoki związane z OpenAI na sprzęt Qualcomm ze zmianą konfiguracji, a nie przepisywaniem, obniżając koszt zmiany, który chronił pozycję na tym rynku.

Zatłoczone pole z jednym wyraźnym przywódcą

Qualcomm wkracza na rynek wnioskowania, który stał się polem bitwy w cyklu sprzętowym AI. Dominują L40S i H100 firmy Nvidia; AMD MI300X i Intel Gaudi 3 są przeznaczone do tych samych obciążeń; i wyspecjalizowany krzem firm Groq i Cerebras stworzyły nisze w zakresie surowej szybkości wnioskowania.

Strona popytowa wyjaśnia zamieszanie. Obsługa agentów AI i potoków RAG zwielokrotnia liczbę wywołań modeli generowanych przez sesję pojedynczego użytkownika, a każde z tych wywołań stanowi problem wnioskowania, który należy rozwiązać przy możliwie najniższym koszcie na token. Osoby zajmujące się hiperskalowalnością kupują stojaki z flagowymi procesorami graficznymi, aby sobie z tym poradzić; przedsiębiorstwa znajdujące się pod nimi szukają sprzętu, który zmieści się w standardowym serwerze, w standardowym obwodzie zasilania, bez renegocjacji umów na dostawę energii elektrycznej.

Qualcomm kieruje się raczej całkowitym kosztem posiadania niż najwyższą wydajnością. W przypadku przedsiębiorstw prowadzących wnioskowanie na dużą skalę zużycie energii przekłada się bezpośrednio na koszty operacyjne, a karta zapewniająca konkurencyjną przepustowość przy 150 W podkopuje ekonomikę procesorów graficznych typu brute-force. Szkolenia pozostają domeną Nvidii — Ultra nie rości sobie do tego żadnych praw — ale z wniosków wynika, gdzie faktycznie decyduje się na ekonomię jednostki w branży i jest to obciążenie pracą, które większość przedsiębiorstw będzie wykonywać samodzielnie, czy to w klastrze lokalnym, czy w klatce kolokacyjnej.

Ekosystem oprogramowania pozostaje żmudną walką. Platforma CUDA firmy Nvidia jest nadal domyślnym wyborem dla większości twórców sztucznej inteligencji i chociaż interfejsy API kompatybilne z OpenAI obniżają barierę wejścia, nie eliminują konieczności przeróbek wymaganych w przypadku niestandardowych potoków wnioskowania.

Gdzie to pasuje w ofercie Qualcomm

Ultra znajduje się na szczycie oferty Qualcomm, która obejmuje również Cloud AI 80 Ultra (do 618 TOPS INT8 przy tych samych 576 MB pamięci SRAM), Cloud AI 100 Pro i Cloud AI 100 Standard, które są przeznaczone do wdrożeń brzegowych i na mniejszą skalę z kopertami mocy 75 W.

Premiera reprezentuje obecną generację planu działania dla centrum danych Dragonfly firmy Qualcomm, który firma opracowywała dla obciążeń AI w skali chmury – i który teraz daje Qualcomm argument dla przedsiębiorstw, które chcą uruchamiać generatywne wnioskowanie AI lokalnie, a nie w chmurze publicznej, czy to ze względu na koszty, opóźnienia czy zarządzanie danymi.

Zakład w jednym zdaniu

Qualcomm obstawia, że w miarę jak sztuczna inteligencja przeniesie się z garstki hiperskalerów do tysięcy przedsiębiorstw, zwycięską kartą wnioskowania nie będzie najszybsza, ale najbardziej wydajna. Cloud AI 100 Ultra to krzemowy argument; pytaniem otwartym pozostaje, czy programiści podążają za watami.

---

Wyprzedź sztuczną inteligencję

Otrzymuj najnowsze wiadomości, analizy i przełomowe informacje dotyczące sztucznej inteligencji — wszystko w jednym miejscu.

Przeczytaj więcej aktualności o sztucznej inteligencji →