Cerebras Systems заявила, що запровадила дезагрегований висновок у виробництво, розподіливши робочі навантаження штучного інтелекту між звичайними графічними процесорами та своїми пластинчастими процесорами в конфігурації, яка, як стверджує компанія, забезпечує в п’ять разів більше токенів на мегават без шкоди для швидкості генерації.
Оголошення, опубліковане в блозі компанії 17 листопада 2026 року, знаменує помітний зсув для компанії, яка витратила роки на позиціонування свого Wafer Scale Engine як альтернативи висновку на основі GPU, а не як доповнення до нього. Тепер Cerebras каже, що графічні процесори обробляють етап оперативної обробки, тоді як його власні системи обробляють етап генерації маркерів. For more context on this story, see our ongoing breaking AI news.
Навіщо розділяти висновок на два?
Висновок відбувається в два етапи. Prefill обробляє підказку користувача та створює проміжний стан моделі. Потім Decode використовує цей стан, щоб генерувати вихідні маркери, один за раз, у авторегресійному циклі, який повторюється для кожного слова відповіді.
Два етапи мають дуже різні обчислювальні профілі. Prefill вимагає важких обчислень і працює паралельно, у чому перевага графічних процесорів. Декодування пов’язане з пропускною здатністю пам’яті та є послідовним, у чому Cerebras стверджує, що його пластинчаста архітектура має перевагу, оскільки вся модель може розміщуватися на одній частині кремнію без зв’язку між чіпами, який уповільнює кластери GPU під час генерації.
Компанія експериментувала з іншими способами розподілу робочого навантаження. У своїй публікації в блозі Cerebras перераховує схеми проектів цілей, у яких мала модель пропонує токени, а більша перевіряє їх, і поділ уваги на FFN серед розглянутих альтернатив. Але в ньому стверджується, що відокремлення попереднього заповнення від декодування унікально підходить для високоінтерактивних програм, оскільки стадія декодування зберігає фірмову надшвидку швидкість генерації Cerebras.
Цифри, що стоять за твердженням
Відповідно до оголошення, дезагрегована конфігурація тепер працює в Cerebras Inference Cloud і забезпечує в п’ять разів більше токенів на мегават на тих самих швидкостях генерації, які компанія вже обслуговувала. Cerebras каже, що інфраструктурні партнери також можуть розгорнути таку ж розділену архітектуру у своїх власних центрах обробки даних.
Економічна логіка проста. Постачальники висновків отримують дохід за токен, а потужність є обов’язковим обмеженням для пропускної здатності. Якщо той самий мегават дає в п’ять разів більше токенів, той самий об’єкт генерує пропорційно більший потенціал доходу, що компанія ілюструє таблицею, у якій порівнюється агреговані та дезагреговані конфігурації обслуговування.
Оголошення також спирається на прогнози попиту, щоб стверджувати, що промисловість потребує кожного підвищення ефективності, яке вона може отримати. Посилаючись на дослідження Goldman Sachs, Cerebras каже, що до 2030 року попит на штучний інтелект зросте приблизно в 24 рази порівняно з рівнями 2026 року, тоді як потужність центрів обробки даних зросте лише приблизно в 2,2 рази за той самий період. Якщо обидва прогнози витримають, то розрив між тим, що користувачі хочуть використовувати, і тим, які об’єкти можуть живити, стане визначальним обмеженням створення ШІ кінця 2020-х років.
Програми Agentic створюють кращий результат
Компанія пояснює сплеск попиту швидким масштабуванням агентських додатків у 2026 році, називаючи Muse, Copilot і Codex прикладами продуктів, які вимагають високої інтерактивності, щоб залучити користувачів. Розмовні агенти, які передають відповіді маркер за маркером, є саме тими робочими навантаженнями, де швидкість генерації є функцією, з якою стикається користувач, а не внутрішнім показником.
Cerebras розміщує запуск у рамках ширшого поштовху потужності. Компанія вказує на свою нещодавно оголошену систему CS-4, різке масштабування виробництва та заплановану потужність центру обробки даних приблизно в 700 мегават як елементи, які дозволять їй та її партнерам обслуговувати значно більше трафіку в 2027 році та пізніше.
Прагматичний поворот для Wafer-Scale
Стратегічно це оголошення звучить як прагматичне пристосування домінування GPU. Замість того, щоб просити клієнтів перенести цілі конвеєри висновків на екзотичний кремній, Cerebras пропонує розподіл праці: нехай графічні процесори роблять те, для чого вони оптимізовані, а апаратне забезпечення масштабу пластини робить те, що воно вміє найкраще. Для постачальників висновків, які затиснуті між стрімким попитом і обмеженнями потужності, кроком є потужність, яку вони можуть додати, не чекаючи апаратного забезпечення нового покоління.
Чи справедлива заява про п’ятикратну ефективність для різноманітних архітектур моделей і реальних поєднань трафіку, стане зрозуміло, коли партнери розгортатимуть конфігурацію в масштабі. Але напрямок руху в галузі зрозумілий. У той час як висновок замінює навчання як домінуюче обчислювальне навантаження, кожен великий постачальник апаратного забезпечення переглядає, як слід розділити два етапи генерації, забезпечити живлення та визначити ціну.
Як це порівнюється з власними підходами GPU
Основні постачальники висновків гіпермасштабування дотримувалися власних стратегій дезагрегації, зазвичай зберігаючи обидва етапи сімейств GPU налаштованими для кожної мети. Варіант Cerebras відрізняється тим, що перетинає лінії постачальників: компанія підтвердила, що графічні процесори AMD обслуговують етап попереднього заповнення у своїй виробничій конфігурації, а системи Cerebras відповідають за декодування. Ця неоднорідність має значення для операторів, оскільки вона розглядає попередні заповнення та декодування як окремі товари, які можна придбати, а не як єдиний інтегрований стек.
Опубліковані результати компанії підкреслюють, що поділ зберігає швидкість генерації, а не обмінює її на ефективність. Ця відмінність усуває давню критику дезагрегованого обслуговування: окреме групування попереднього заповнення може додати затримку до першого токена, а будь-яка конфігурація, яка уповільнює цикл декодування, підриває відчуття інтерактивності, яке продають преміум-послуги інференції. Cerebras стверджує, що його механізм дозволяє уникнути обох покарань, хоча справжнім випробуванням стануть незалежні бенчмарки для різних довжин підказок і моделей трафіку.
Для читачів AI Buzz Wire, які відстежують перегони інфраструктури, повідомлення від Cerebras полягає в тому, що ера висновків про те, що одна мікросхема підходить для всіх, поступається місцем спеціально побудованим конвеєрам — і що компанія має намір володіти декодуванням половини з них.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →