Cerebras додала Qwen 3.8 27B до загальнодоступних кінцевих точок своєї платформи Cerebras Inference, де модель відкритих ваг працює приблизно з 1500 токенів на секунду, згідно з документацією каталогу моделей компанії. Цей список робить одну з найпоширеніших сімейств відкритих моделей Alibaba доступною зі швидкістю, яка перевершує типове обслуговування на GPU.

Оголошення негайно привернуло увагу розробників: історія зібрала понад 600 балів на Hacker News протягом дня, рівень тяги, який відображає, наскільки гарячим став попит на швидкі та дешеві висновки. Щоб отримати ширше уявлення про ринок висновків, служба найновіших новин AI слідкує за кожним великим оновленням платформи, щойно воно з’явиться.

Характеристики в каталозі

Згідно з документацією Cerebras, Qwen 3.8 27B містить 27 мільярдів параметрів і підтримує 64 тис. маркерів контексту на безкоштовному рівні та 128 тис. на платних рівнях, що працює зі швидкістю приблизно 1500 маркерів на секунду. Він стоїть поруч із відкритою моделлю GPT-OSS 120B від OpenAI, яка в тому ж каталозі перераховує приблизно 3000 токенів на секунду з 65K контекстом на безкоштовному рівні та 131K на платних рівнях.

Обидві моделі доступні в безкоштовній пробній версії Cerebras і на платних рівнях за умови обмеження ставок. Клієнти, яким потрібна зарезервована потужність, більш висока пропускна здатність або виробничі угоди про рівень обслуговування, спрямовуються до пропозиції компанії Dedicated Endpoints, яку в документації також зазначено як маршрут до додаткових сімейств моделей окрім двох публічних кінцевих точок.

Окрім показників швидкості, на увагу заслуговують контекстні вікна. Шістдесят чотири тисячі токенів на безкоштовному рівні — і 128 000 — на платному — достатньо, щоб одночасно зберігати в пам’яті значні кодові бази, довгі документи або розширені стенограми агентів, що важливо для точних робочих навантажень, де швидке декодування окупається. Документація Cerebras також містить посібник із сумісності OpenAI, що знижує вартість перемикання для команд, чий існуючий код уже націлений на OpenAI SDK: в принципі, вказівка ​​існуючого клієнта на кінцеву точку Cerebras є зміною конфігурації, а не переписуванням.

Необрізані моделі, прозоре стиснення

Одна деталь, яку варто відзначити в документації, це розкриття Cerebras того, як вона обробляє стиснення моделі. Компанія заявляє, що всі моделі на її загальнодоступних кінцевих точках є оригінальними, необрізаними версіями, і що вона використовує вибіркове квантування лише ваги лише під час зберігання, щоб зберегти якість. Чутливі шари залишаються з повною точністю, активації, увага та кеш KV залишаються неквантованими, а деквантування відбувається на льоту.

Cerebras також оприлюднює свої дослідження методів обрізання, таких як REAP (зважене експертне обрізання активації маршрутизатора): обрізані варіанти надаються спільноті дослідників на Hugging Face, але не обслуговуються через загальнодоступний API. Для розробників, які обирають, де запускати відкриті моделі, ця прозорість щодо того, що саме обслуговується, є надзвичайно чіткою.

Чому швидкість маркера важлива

Подібні показники пропускної здатності мають найбільше значення для роботи агентів і програмування. Програми, які об’єднують сотні модельних викликів — агенти кодування, автономні робочі процеси, помічники в режимі реального часу — збільшують затримку кожного токена на кожному кроці, тому різниця між 50 і 1500 токенами на секунду створює якісно інший досвід. Інтерактивні програми, які передають довгі завершення, отримують найбільшу вигоду.

Компромісом є масштаб. Модель з 27 мільярдами параметрів не буде відповідати граничним системам у найскладніших завданнях міркування, а власні документи Cerebras направляють великі виробничі навантаження на виділену потужність. Але для великого середнього рівня завдань, де відкриті моделі середнього розміру вже достатньо хороші — узагальнення, класифікація, використання інструментів, редагування коду — швидкість стає відмінною рисою.

Існує також ціновий вимір, який розробники будуть зважувати. Загальнодоступні моделі кінцевих точок можна використовувати в безкоштовній пробній версії перед будь-якими зобов’язаннями, що робить порівняльний аналіз із власним робочим навантаженням команди практично вільним — навмисна зміна рівня, що контрастує з корпоративними контрактами, які вимагають переговорів про продаж перед тим, як буде подано перший маркер. Задокументовані обмеження швидкості є обмеженням, на яке слід звернути увагу: безкоштовний доступ існує для підтвердження швидкості, а не для запуску робочого трафіку.

Напружений відрізок для відкритих моделей

The addition lands during a crowded stretch for open-weights AI. Лабораторія IFM, що базується в ОАЕ, щойно представила K2 Horizon, підключену групу з шести повністю відкритих моделей, а Meta продовжує вдосконалювати сімейство Muse для кодування та агентського використання. Meanwhile, open-model ecosystems in China keep shipping at a pace that has compressed release cycles across the industry.

Для розробників практичний висновок полягає в тому, що стек відкритих моделей розвивається відразу на двох фронтах: можливості, оскільки моделі середнього розміру заповнюють прогалини з флагманами в повсякденних завданнях, і обслуговування економіки, оскільки спеціалізовані постачальники висновків конкурують за швидкістю. Qwen 3.8 27B на Cerebras є точкою даних для обох тенденцій — відкрита модель поточного покоління працює на швидкостях, які були екзотичними рік тому, на апаратному забезпеченні, спеціально створеному для роботи.

Розробники, які оцінюють платформу, повинні порівняти власні робочі навантаження: опубліковані швидкості є цифрами каталогу, реальна пропускна здатність залежить від довжини підказок, паралельності та конфігурації, а обмеження швидкості безкоштовного рівня будуть пов’язані раніше, ніж його швидкість.

Будьте попереду ШІ

Кожен випуск моделі, оновлення платформи висновків і запуск інструменту розробника відстежуються по мірі того, як це відбувається — читайте більше новин AI →