Экономика инфраструктуры искусственного интеллекта перевернулась. По словам исполнительного директора Positron AI Кэмерона Маккаскилла, который поделился этой цифрой в интервью theCUBE Research на суперкомпьютерной конференции SC26, примерно две трети рабочих нагрузок, выполняемых сегодня через инфраструктуру искусственного интеллекта, являются логическими выводами, а не обучением. Три года назад соотношение было почти противоположным: около 85 процентов обучения и 15 процентов умозаключений.

Этот разворот незаметно перерисовывает карту того, где живут ИИ-вычисления, и объясняет, почему новое поколение производителей микросхем, ориентированных на логические выводы, внезапно выигрывает облачные контракты с компаниями, гораздо более крупными, чем они сами.

Цифры, стоящие за броском

«Мы находимся на этапе, когда около двух третей рабочих нагрузок, выполняемых через эти инфраструктуры искусственного интеллекта, представляют собой логические выводы, а одна треть — это обучение», — сказал Маккаскилл, руководитель отдела продаж и развития бизнеса Positron, в интервью Ребекке Найт и Джону Ферриеру из theCUBE Research. «В 2023 году это было примерно 85% обучения и 15% умозаключений. Так что теперь вы можете понять, почему выводы определяют экономические решения о том, как они собираются строить свою инфраструктуру».

Этот сдвиг имеет интуитивный смысл. Обучение проходит в нескольких передовых лабораториях с кластерами стоимостью в миллиарды долларов. Выводы происходят повсюду, каждый раз, когда пользователь предлагает модель — и по мере того, как потребительское и корпоративное внедрение стремительно растет, совокупный спрос на токены превысил инфраструктуру, созданную для эпохи обучения. Электропитание, охлаждение и подача памяти теперь определяют то, где генерируются токены, так же, как и производительность чипа, и это меняет то, какое оборудование выигрывает.

Ставка Positron на товарную память

Positron AI, которая в сентябре привлекла $875 млн при оценке в $5 млрд, построила всю свою стратегию вокруг эпохи умозаключений. Главный дизайнерский выбор компании: отказаться от памяти с высокой пропускной способностью (HBM), дефицитного и дорогого типа памяти, на котором базируется большинство ускорителей искусственного интеллекта, и вместо этого создавать устройства вывода на основе стандартной памяти.

«Почти все остальные в отрасли используют так называемую HBM, или память с высокой пропускной способностью. Ее предложение очень ограничено, и она очень дорогая», — сказал Маккаскилл. «Мы выбрали товарную память».

Компромиссы являются преднамеренными. Обычная память дешевле, и ее гораздо проще найти, а архитектура Positron обеспечивает достаточно низкий уровень энергопотребления для помещений с воздушным охлаждением — экзотическое жидкостное охлаждение не требуется. Один сервер Positron потребляет около 4500 Вт, а полная стойка будущих серверов Titan компании умещается в пределах 40 киловатт.

Дорожная карта продвигается быстро. Сервер Atlas первого поколения Positron работал на программируемом чипе, и в начале следующего года компания планирует выпустить на пленку собственный чип для сервера Titan. По словам Маккаскилла, компания уже осуществила масштабные развертывания: в этом квартале Oracle введет в свое облако около 340 серверов Atlas, а поставщик неооблачных услуг подписал контракт с Atlas, одновременно принимая на себя обязательства по предстоящему поколению Titan.

Модульные центры обработки данных становятся естественным местом для вывода

Возможно, самая важная часть интервью — это то, откуда, по словам Маккаскилла, исходит спрос: не из гипермасштабных кампусов, а из небольших, быстрых, модульных объектов.

«Одна из групп компаний, рост которой мы сейчас наблюдаем и которые обращаются к нам за продуктами, — это модульные центры обработки данных, где у них есть модульные центры обработки данных мощностью в полмегаватта, 1 мегаватт или 2,5 мегаватта, и их можно развернуть очень быстро», — сказал он. «Цель многих игроков, занимающихся логическим выводом, состоит в том, чтобы перейти от земли и власти к монетизируемым токенам в течение 90–120 дней».

Такой график — примерно четверть от начала строительства до получения дохода — невозможен для тренировочного кампуса мощностью в гигаватт, на разрешение, строительство и подачу энергии которого могут уйти годы. Рабочие нагрузки логического вывода меньше, более географически гибки и терпимы к местам, где операторы могут найти несколько мегаватт дешевой энергии без серьезных нормативных препятствий. Результатом является появление нового уровня инфраструктуры распределенного вывода, расположенного на площадках телекоммуникационных компаний, колокейшн-центрах и модульных устройствах ближе к местам, где фактически существует спрос.

Что это значит для отрасли

Для производителей чипов это означает, что рынок аппаратного обеспечения искусственного интеллекта разделяется. Обучение продолжает вознаграждать самых продвинутых акселераторов и самых богатых. Вывод вознаграждает различные достоинства: энергоэффективность, стоимость памяти, скорость развертывания и возможность работы в обычных зданиях с воздушным охлаждением. Поставщики, оптимизированные только для тренировочной гонки, могут обнаружить, что наибольший объем будущих решений по развертыванию — где токены фактически монетизируются — происходит на оборудовании, предназначенном для другого набора ограничений.

Для предприятий и облачных клиентов этот сдвиг по большей части незаметен, но становится все более значимым: возможности вывода, которые появляются с интервалом от 90 до 120 дней, означают более конкурентоспособные цены и больше географических возможностей для запуска моделей рядом с пользователями и данными.

А в повествовании о развитии индустрии искусственного интеллекта, которое часто представляют как бесконечную гонку за гигаваттные кампусы, обратный вывод является напоминанием о том, что кривая спроса расширяется, а не просто масштабируется. Этап в две трети, упомянутый на SC26, является оценкой одного руководителя, но он соответствует направлению, о котором сообщает каждый крупный облачный оператор: центр тяжести построения искусственного интеллекта перемещается от обучения моделей к их обслуживанию.

Оставайтесь впереди искусственного интеллекта

Следите за последними разработками в области искусственного интеллекта с помощью AI Buzz Wire, вашего источника новостей об оборудовании и инфраструктуре искусственного интеллекта.

Подробнее новости AI →