Qualcomm выпустила Cloud AI 100 Ultra, ускоритель вывода для центров обработки данных, который обеспечивает производительность до 870 TOPS INT8 и 288 TFLOPS вычислений FP16, потребляя при этом всего 150 Вт — часть мощности графических процессоров, которые в настоящее время доминируют в генеративном выводе AI.

Карта, указанная на официальной странице продукта Qualcomm для центров обработки данных и подробно описанная в описании запуска, разработана специально для рабочих нагрузок генеративного искусственного интеллекта и больших языковых моделей. Это позиционирует гиганта мобильных чипов как прямого конкурента на рынке логических выводов, где спрос растет по мере того, как предприятия в больших масштабах развертывают агентов искусственного интеллекта, вторых пилотов и приложения с расширенным поиском. Дополнительную информацию о гонке аппаратного обеспечения искусственного интеллекта можно найти в нашем [репортаже новостей об искусственном интеллекте] (https://aibuzzwire.news).

Характеристики: сначала SRAM, потом DRAM

В основе Cloud AI 100 Ultra лежат 64 ядра искусственного интеллекта и 576 МБ встроенной SRAM. Ставка Qualcomm заключается в том, что сохранение весов моделей и активаций физически близко к вычислительным блокам — вместо того, чтобы перемещать каждый токен во внешнюю память — окупается для моделей на основе трансформаторов, которые живут и умирают в зависимости от пропускной способности памяти.

Карта по-прежнему оснащена 128 ГБ памяти LPDDR4x с пропускной способностью 548 ГБ/с для более крупных моделей и более длинных контекстов, подключенной через PCIe Gen4 с 16 линиями. Эта комбинация — большая встроенная SRAM плюс скромное энергопотребление в 150 Вт — является отличительной чертой карты. Графические процессоры Nvidia для центров обработки данных обычно имеют мощность от 300 до 700 Вт, и каждый ватт имеет значение, когда счет за вывод осуществляется по токену, а мощность центра обработки данных является наиболее спорным ресурсом в отрасли.

«Cloud AI 100 Ultra — это решение для вывода искусственного интеллекта, оптимизированное по производительности и стоимости», — заявила компания в материалах о продукте, подчеркнув возможность программирования для различных рабочих нагрузок — от компьютерного зрения до обработки естественного языка.

Программное обеспечение: совместимое с OpenAI устройство для запуска на рампе

Аппаратное обеспечение никогда не было проблемой Qualcomm в центрах обработки данных; программное обеспечение имеет. Компания решает эту проблему с помощью AI Inference Suite — программного уровня, который предоставляет OpenAI-совместимые API для создания чат-ботов, вторых пилотов и агентов искусственного интеллекта.

Пакет поддерживает чат, генерацию изображений, мультимодальные модели и рабочие процессы с расширенным поиском (RAG), а также развертывается через Kubernetes или пустые контейнеры. Qualcomm также поставляет инструменты управления и администрирования пользователей — непривлекательное дополнение, которого часто не хватает в предложениях сырых ускорителей, но которое имеет большое значение для корпоративных ИТ-команд, когда они перемещают рабочие нагрузки внутри компании.

Поверхность API-интерфейса, совместимого с OpenAI, имеет стратегическое значение: она позволяет разработчикам направить существующие конвейеры, связанные с OpenAI, на оборудование Qualcomm с помощью изменения конфигурации, а не перезаписи, что снижает стоимость переключения, что защищает присутствие на этом рынке.

Переполненное поле с одним явным лидером

Qualcomm выходит на рынок логических выводов, который стал полем битвы в области аппаратного обеспечения искусственного интеллекта. Доминируют Nvidia L40S и H100; AMD MI300X и Intel Gaudi 3 предназначены для одних и тех же рабочих нагрузок; а специализированные микросхемы от Groq и Cerebras заняли ниши в области скорости логического вывода.

Сторона спроса объясняет эту проблему. Обслуживание агентов ИИ и конвейеров RAG умножает количество вызовов модели, генерируемых одним сеансом пользователя, и каждый из этих вызовов представляет собой проблему вывода, которую необходимо решить с минимально возможной стоимостью токена. Гиперскейлеры покупают стойки флагманских графических процессоров, чтобы справиться с этой задачей; Подчиненные им предприятия ищут аппаратное обеспечение, подходящее для стандартного сервера со стандартной цепью питания, без пересмотра своих контрактов на поставку электроэнергии.

Основная идея Qualcomm — общая стоимость владения, а не максимальная производительность. Для предприятий, использующих логический вывод в больших масштабах, энергопотребление напрямую влияет на эксплуатационные расходы, а карта, обеспечивающая конкурентоспособную пропускную способность на уровне 150 Вт, подрывает экономику мощных графических процессоров. Обучение остается прерогативой Nvidia — Ultra не претендует на него — но именно вывод определяет юнит-экономику отрасли, и это рабочая нагрузка, которую большинство предприятий будут выполнять самостоятельно, будь то в локальном кластере или в колокейшн-клетке.

Экосистема программного обеспечения остается тяжелой битвой. Платформа CUDA от Nvidia по-прежнему является выбором по умолчанию для большинства разработчиков искусственного интеллекта, и хотя API-интерфейсы, совместимые с OpenAI, снижают барьер для входа, они не устраняют необходимость доработки, необходимой для пользовательских конвейеров вывода.

Какое место в линейке Qualcomm он занимает

Ultra находится на вершине линейки логических выводов Qualcomm, в которую также входят Cloud AI 80 Ultra (до 618 TOPS INT8 с теми же 576 МБ SRAM), Cloud AI 100 Pro и Cloud AI 100 Standard, предназначенные для периферийных и небольших развертываний с конвертами мощности 75 Вт.

Запуск представляет собой текущее поколение дорожной карты ЦОД Qualcomm Dragonfly, которую компания разрабатывала для облачных рабочих нагрузок ИИ, и которая теперь дает Qualcomm аргумент для предприятий, которые хотят запускать генеративный вывод ИИ локально, а не в общедоступном облаке, будь то по причинам стоимости, задержки или управления данными.

Ставка в одном предложении

Qualcomm делает ставку на то, что по мере того, как искусственный интеллект переходит от горстки гиперскейлеров к тысячам предприятий, выигрышной картой вывода будет не самая быстрая, а самая эффективная карта. Cloud AI 100 Ultra — это аргумент в пользу кремния; Следят ли разработчики за ваттами, остается открытым вопросом.

---

Будьте впереди ИИ

Получайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.

Подробнее новости AI →