Qualcomm випустила Cloud AI 100 Ultra, прискорювач висновків для центру обробки даних, який забезпечує до 870 TOPS продуктивності INT8 і 288 TFLOPS обчислень FP16, споживаючи лише 150 Вт — незначну частину потужності графічних процесорів, які зараз домінують у генеративному висновку AI.
Плата, вказана на офіційній сторінці продукту для центру обробки даних Qualcomm і детально описана у звіті про випуск, розроблена спеціально для генеративного ШІ та великих робочих навантажень мовної моделі. Це позиціонує гіганта мобільних чіпів як прямого конкурента на ринку висновків, де попит стрімко зростає, оскільки підприємства масштабно розгортають агентів штучного інтелекту, копілотів і додатків із доповненим пошуком. Щоб дізнатися більше про гонку апаратного забезпечення штучного інтелекту, перегляньте наші висвітлення новин штучного інтелекту.
Технічні характеристики: по-перше SRAM, по-друге DRAM
Серцем Cloud AI 100 Ultra є 64 ядра штучного інтелекту та 576 МБ вбудованої SRAM. Компанія Qualcomm робить ставку на те, що підтримання вагових коефіцієнтів і активацій моделі фізично близько до обчислювальних блоків — замість того, щоб переміщувати кожен маркер у зовнішню пам’ять — окупається для моделей на основі трансформаторів, які живуть і вмирають від пропускної здатності пам’яті.
Карта все ще містить 128 ГБ пам’яті LPDDR4x із пропускною здатністю 548 ГБ/с для більших моделей і довших контекстів, підключених через PCIe Gen4 із 16 смугами. Ця комбінація — велика вбудована пам’ять SRAM плюс скромна споживана потужність 150 Вт — є відмінною рисою цієї карти. Графічні процесори центрів обробки даних Nvidia зазвичай коливаються від 300 Вт до 700 Вт, і кожен ват має значення, коли висновок виставляється за токеном, а потужність центру обробки даних є найбільш оскаржуваним ресурсом галузі.
«Cloud AI 100 Ultra — це оптимізоване за продуктивністю та вартістю рішення для висновків ШІ», — йдеться в матеріалах компанії про продукт, наголошуючи на можливості програмування для робочих навантажень, починаючи від комп’ютерного бачення й закінчуючи обробкою природної мови.
Програмне забезпечення: On-Ramp, сумісний з OpenAI
Апаратне забезпечення ніколи не було проблемою Qualcomm у центрі обробки даних; програмне забезпечення має. Компанія вирішує це за допомогою свого AI Inference Suite, програмного рівня, який надає сумісні з OpenAI API для створення чат-ботів, копілотів і агентів AI.
Пакет підтримує чат, генерацію зображень, мультимодальні моделі та робочі процеси генерації з доповненим пошуком (RAG), а також розгортає через Kubernetes або контейнери без використання металу. Qualcomm також постачає інструменти для керування користувачами та адміністрування — непривабливе доповнення, якого часто не вистачає в необроблених пропозиціях прискорювачів, але над яким корпоративні ІТ-команди дуже тяжіють, коли переміщують робочі навантаження всередині компанії.
Поверхня API, сумісна з OpenAI, має стратегічне значення: вона дозволяє розробникам спрямовувати існуючі конвеєри, пов’язані з OpenAI, на апаратне забезпечення Qualcomm за допомогою зміни конфігурації, а не переписування, що знижує вартість перемикання, що захищає позиції на цьому ринку.
Переповнене поле з одним явним лідером
Qualcomm виходить на ринок висновків, який став полем битви апаратного циклу ШІ. Nvidia L40S і H100 домінують; MI300X від AMD і Gaudi 3 від Intel націлені на однакові навантаження; а спеціалізований кремній від Groq і Cerebras вирізав ніші на швидкості вихідного висновку.
Сторона попиту пояснює сутичку. Обслуговування агентів штучного інтелекту та конвеєрів RAG збільшує кількість викликів моделей, які генерує один сеанс користувача, і кожен із цих викликів є проблемою логічного висновку, яку потрібно вирішити з найменшою можливою ціною за маркер. Гіперскейлери купують стійки флагманських графічних процесорів, щоб впоратися з цим; підприємства під ними шукають апаратне забезпечення, яке підходить для стандартного сервера, зі стандартною ланцюгом живлення, без перегляду своїх контрактів на електроенергію.
Пропозиція Qualcomm — це загальна вартість володіння, а не максимальна продуктивність. Для підприємств, які працюють у великих масштабах, енергоспоживання вливається безпосередньо в експлуатаційні витрати, а карта, яка забезпечує конкурентоспроможну пропускну здатність у 150 Вт, підриває економічність графічних процесорів грубої сили. Навчання залишається сферою діяльності Nvidia — Ultra не претендує на це — але висновок — це те, де фактично вирішується економіка одиниці галузі, і це робоче навантаження, яке більшість підприємств виконуватиме самостійно, чи то в локальному кластері, чи то в клітці спільного розміщення.
Екосистема програмного забезпечення залишається важкою боротьбою. Платформа CUDA від Nvidia все ще є вибором за замовчуванням для більшості розробників штучного інтелекту, і хоча API, сумісні з OpenAI, знижують бар’єр входу, вони не усувають переробку, необхідну для користувацьких конвеєрів висновку.
Де це підходить у лінійці Qualcomm
Ultra знаходиться на вершині лінійки висновків Qualcomm, яка також включає Cloud AI 80 Ultra (до 618 TOPS INT8 з тими самими 576 МБ SRAM), Cloud AI 100 Pro та Cloud AI 100 Standard, який націлений на периферійні та менші розгортання з конвертами потужності 75 Вт.
Запуск представляє поточне покоління дорожньої карти центру обробки даних Qualcomm Dragonfly, яку компанія розробляла для хмарних робочих навантажень штучного інтелекту — і яка тепер дає Qualcomm аргумент для підприємств, які хочуть запускати генеративні висновки штучного інтелекту локально, а не в загальнодоступній хмарі, чи то з причин вартості, затримки чи керування даними.
Ставка одним реченням
Qualcomm робить ставку на те, що в міру того, як штучний інтелект переходить від кількох гіпермасштабувальників до тисяч підприємств, виграшна картка висновків буде не найшвидшою, а найефективнішою. Cloud AI 100 Ultra — це той аргумент у кремнії; Питання про те, чи слідкують розробники за ватами, залишається відкритим.
---
Будьте попереду ШІОтримуйте останні новини штучного інтелекту, аналіз і прориви — усе в одному місці.
Читати більше новин AI →
