Qwen 3.8 27B теперь работает со скоростью примерно 1500 токенов в секунду по данным Cerebras Inference

Cerebras добавила Qwen 3.8 27B к общедоступным конечным точкам своей платформы Cerebras Inference, где модель открытых весов работает со скоростью примерно 1500 токенов в секунду, согласно документации каталога моделей компании. В результате листинга одно из наиболее широко используемых семейств открытых моделей Alibaba становится доступным на скоростях, которые затмевают типичное обслуживание на базе графического процессора.

Это объявление сразу же привлекло внимание разработчиков: за день история набрала более 600 баллов на Hacker News, и такой уровень популярности отражает, насколько горячим стал спрос на быстрый и дешевый вывод. Чтобы получить более широкое представление о рынке логических выводов, раздел последние новости искусственного интеллекта следит за каждым крупным обновлением платформы по мере его выхода.

Характеристики в каталоге

Согласно документации Cerebras, Qwen 3.8 27B содержит 27 миллиардов параметров и поддерживает 64 000 токенов контекста на бесплатном уровне и 128 000 на платных уровнях со скоростью примерно 1500 токенов в секунду. Он находится рядом с открытой моделью GPT-OSS 120B от OpenAI, которая в том же каталоге указана со скоростью примерно 3000 токенов в секунду с 65 000 контекста на бесплатном уровне и 131 000 на платных уровнях.

Обе модели доступны на бесплатной пробной версии Cerebras и с оплатой по мере использования с учетом ограничений по тарифам. Клиентам, которым требуется зарезервированная мощность, более высокая пропускная способность или соглашения об уровне обслуживания для производства, рекомендуется обратиться к предложению компании по выделенным конечным точкам, которое в документации также указано как путь к дополнительным семействам моделей помимо двух на общедоступных конечных точках.

Наряду с показателями скорости внимания заслуживают контекстные окна. Шестидесяти четырех тысяч токенов на бесплатном уровне — и 128 000 на платном — достаточно для одновременного хранения в памяти больших кодовых баз, длинных документов или расширенных расшифровок агентов, что важно для конкретных рабочих нагрузок, где быстрое декодирование окупается. Документация Cerebras также включает руководство по совместимости OpenAI, снижающее стоимость перехода для команд, чей существующий код уже ориентирован на OpenAI SDK: в принципе, указание существующего клиента на конечную точку Cerebras — это изменение конфигурации, а не переписывание.

Необрезанные модели, прозрачное сжатие

В документации стоит отметить одну деталь: Cerebras раскрывает, как он обрабатывает сжатие модели. Компания заявляет, что все модели на ее общедоступных конечных точках являются оригинальными, необрезанными версиями и что она использует выборочное квантование только по весу только во время хранения, чтобы сохранить качество. Чувствительные слои сохраняют полную точность, активации, внимание и KV-кэш остаются неквантованными, а деквантование происходит «на лету».

Cerebras также раскрывает свои исследования в области методов сокращения, таких как REAP (Expert Activation Pruning, взвешенная по маршрутизатору): сокращенные варианты передаются исследовательскому сообществу на Hugging Face, но не обслуживаются через общедоступный API. Для разработчиков, выбирающих, где запускать открытые модели, прозрачность относительно того, что именно обслуживается, является необычайно явной.

Почему важна скорость токена

Подобные показатели пропускной способности наиболее важны для агентских рабочих нагрузок и рабочих нагрузок кодирования. Приложения, которые объединяют сотни вызовов моделей — агенты кодирования, автономные рабочие процессы, помощники в реальном времени — увеличивают задержку на каждый токен на каждом этапе, поэтому разница между 50 и 1500 токенами в секунду приводит к качественно другому опыту. Интерактивные приложения, которые транслируют длинные завершения, выигрывают наиболее заметно.

Компромисс — это масштаб. Модель с 27 миллиардами параметров не справится с передовыми системами при решении самых сложных задач рассуждения, а собственная документация Cerebras направляет тяжелые производственные нагрузки в сторону выделенных мощностей. Но для больших задач, где открытые модели среднего размера уже достаточно хороши — обобщение, классификация, использование инструментов, редактирование кода — скорость становится определяющим фактором.

Разработчики также будут учитывать ценовой аспект. Модели общедоступных конечных точек можно использовать в рамках бесплатной пробной версии перед принятием каких-либо обязательств, что делает сравнительный анализ с собственной рабочей нагрузкой команды практически простым — преднамеренный переход, который контрастирует с корпоративными контрактами, которые требуют переговоров о продажах до того, как будет подан первый токен. Документированные ограничения скорости являются ограничением, за которым следует следить: бесплатный уровень доступа существует для подтверждения скорости, а не для запуска производственного трафика.

Напряженная работа над открытыми моделями

Дополнение приземляется во время многолюдного участка для ИИ в открытых весах. Лаборатория IFM, базирующаяся в ОАЭ, только что представила K2 Horizon, подключенный парк из шести полностью открытых моделей, а Meta продолжает совершенствовать свое семейство Muse для кодирования и агентного использования. Между тем, экосистемы открытой модели в Китае продолжают поставляться такими темпами, которые сокращают циклы выпуска по всей отрасли.

Для разработчиков практический вывод заключается в том, что стек открытых моделей развивается одновременно на двух фронтах: возможности, поскольку модели среднего размера сокращают отставание от флагманов в повседневных задачах, и экономическое обслуживание, поскольку специализированные поставщики логических выводов конкурируют в скорости. Qwen 3.8 27B на Cerebras является отправной точкой для обеих тенденций — открытая модель текущего поколения, работающая на скоростях, которые год назад были экзотическими, на оборудовании, специально созданном для этой работы.

Разработчики, оценивающие платформу, должны сравнивать свои собственные рабочие нагрузки: опубликованные скорости являются каталожными цифрами, реальная пропускная способность зависит от длины запросов, параллелизма и конфигурации, а ограничения на скорость бесплатного уровня будут действовать раньше, чем скорость.

Будьте впереди ИИ

Каждый выпуск модели, обновление платформы вывода и запуск инструментов разработчика отслеживаются по мере их появления — подробнее новости AI →