Китайська лабораторія штучного інтелекту Z.ai опублікувала детальну технічну інформацію про те, як вона налаштувала моделі GLM на роботу, покращуючи самі системи, які їх обслуговують, описуючи «Infra Agent», який знаходить і виправляє вузькі місця в інфраструктурі висновків компанії з обмеженим втручанням людини.
Публікація в блозі під назвою «До рекурсивного самовдосконалення: як GLM побудувала власну інфраструктуру висновків» з’явилася на сайті компанії в середу та швидко стала однією з найбільш обговорюваних історій про технології на Hacker News, де вона отримала більше 200 балів від спільноти розробників. For more context on this story, see our ongoing artificial intelligence updates.
«Коли ми розробляємо GLM, ця модель іноді демонструє можливості, які нас дивують і навіть бентежать», — написала компанія у перших рядках допису.
Від досліджень кібербезпеки до систем самооптимізації
Ця робота починається з жовтня 2025 року, коли Z.ai почав досліджувати, як посилити можливості GLM у сфері кібербезпеки. За словами компанії, аргументація була простою: кібербезпека є природним розширенням кодування, і моделі, які можуть орієнтуватися у великих кодових базах, можуть зрештою керувати низькорівневим системним кодом, якого уникають більшість інженерів.
Ця основа перетворилася на щось більш амбітне. Замість того, щоб використовувати моделі просто для написання коду, Z.ai вирішив відповісти на запитання системної інженерії: чи може агент штучного інтелекту взяти на себе відповідальність за продуктивність стеку виробничих висновків, рівня координації програмного та апаратного забезпечення, який перетворює ваги моделі на швидкі та дешеві відповіді?
Відповідь компанії передбачала переосмислення проблеми. Наскрізні показники самі по собі, як стверджується в публікації, не можуть керувати агентом оптимізації. Звіт про те, що час до першого маркера збільшився на 30 відсотків або що вихідна пропускна здатність впала на 20 відсотків, повідомляє агенту, що щось погіршилося, але не говорить про те, який рівень відповідальний, чому його гіпотеза виявилася невдалою або що перевіряти далі.
«Як ми перетворимо розріджені наскрізні результати в дрібнозернистий інженерний зворотній зв’язок, який безпосередньо спрямовує наступні дії?» — запитує компанія в дописі, описуючи питання як ключове до всіх зусиль.
Три правила для зворотного зв'язку, який читає агент
Відповідь Z.ai - це дисципліна зворотного зв'язку, побудована на трьох характеристиках. По-перше, зворотній зв’язок має бути досить локальним, прив’язаним до конкретних параметрів запуску двигуна, змін коду, ядер, умов введення, потоків, інтервалів виконання або шляхів коду, щоб агент міг звузити сферу будь-якої проблеми. По-друге, це має бути недорогим і своєчасним для отримання: питання, на яке можна відповісти за допомогою тесту ядра або локального мікроконтролю, не повинно вимагати повного розгортання служби. По-третє, перевірка має відповідати поточній гіпотезі, причому кожен експеримент призначений для відповіді на конкретне запитання, а не слідування фіксованій послідовності.
У компанії стверджують, що ця щільна петля зворотного зв’язку дозволяє Infra Agent поводитися не так як автозавершення для інженерів, а більше як колега, який може проводити експерименти протягом ночі.
Три практичні приклади, від чисел до помилки потоків
Допис розповідає про три конкретні епізоди з оптимізації стека обслуговування GLM-5.3-Flash, відкритої моделі Z.ai, випущеної за ліцензією MIT у серпні.
Перший передбачає коректність. Оскільки оптимізація логічного висновку змінює те, як розпаралелюються обчислення, агенту потрібно було переконатися, що ядра дають однакові результати в розділених і нерозділених умовах. В одному випадку команда об’єднала три операції TF32 Tensor Core, щоб отримати більш точний результат, зменшивши накопичену чисельну похибку, зберігши більшість переваг у продуктивності Tensor Core. Порівняльне тестування між стратегіями поділу виявило розбіжності, які спонукали до виправлення.
Друга — це історія налагодження системи, яка здасться знайомою будь-якому інженеру продуктивності. Критерії прийнятності вимагали, щоб додавання передачі кешу KV до шляху обслуговування не погіршувало продуктивність попереднього заповнення більш ніж на 5 відсотків за ідентичних робочих навантажень. Агент виявив, що розрив перевищує 20 відсотків у деяких сценаріях, що звузило розслідування до паралельної поведінки самої передачі KV. Вивчаючи графіки виконання, агент виявив аномалію: у проблемних сценаріях виконання передачі KV на стороні Python ніколи не збігалося з інтервалами відправлення та об’єднання бібліотеки зв’язку DeepEP. Виправлення полягало у звільненні глобального блокування інтерпретатора Python під час відповідних інтервалів виконання C++, дозволяючи потоку передачі, який обслуговує Mooncake, сховище кешу KV, працювати паралельно з обчисленнями. Згодом розрив продуктивності впав у межі допустимого порогу.
Третій епізод демонструє ітераційне налаштування ядра. Представлення ReplaySSM, техніки, яка обмінює обчислення на пам’ять, спочатку збільшило час виконання ядра декодування KDA. Тоді оптимізація підрозділу агента скоротила час виконання ядра на 9,6 відсотка. Отримавши відгук про те, що обчислення залишаються основним вузьким місцем, агент виявив оригінальну реалізацію, розміщену вздовж V-виміру, що призвело до повторення ідентичних обчислень нормалізації FP32 і стробування без потреби.
Стек за GLM-5.3-Flash
Оптимізації доповнюють агресивну архітектуру обслуговування, яку Z.ai описує в дописі: внутрішньовузловий тензорний паралелізм для лінійної уваги та голови мовної моделі, обмін ReplaySSM обчислення за пам’ять, квантування W8A8, квантування кешу зі змішаною точністю з використанням форматів INT8, FP8 і BF16, схема розподілу шарів і Дезагрегована архітектура Encode-Fill-Decode, яка запускає етапи обслуговування на окремих ресурсах.
Компанія розглядає накопичення цих методів, відкритих і підтверджених переважно самим агентом, як крок до рекурсивного самовдосконалення: системи штучного інтелекту покращують інфраструктуру, що робить їх швидшими та дешевшими у використанні, що, у свою чергу, робить наступний раунд вдосконалення, керованого агентами, більш доступним.
Чому це важливо
Вартість висновків є одним із вирішальних економічних факторів індустрії ШІ. Лабораторії, які можуть обслуговувати моделі передового класу за нижчою ціною за токен, можуть встановлювати агресивні ціни, субсидувати агентів, які здійснюють тисячі дзвінків за завдання, і фінансувати подальше навчання за рахунок прибутку від обслуговування. Z.ai була особливо агресивною на всіх трьох фронтах, і проміжні фінансові звіти компанії на початку цього року показали, що дохід різко зріс, навіть якщо збитки скоротилися.
Пост також є сигналом про те, куди рухається лабораторна інженерія. Традиційний розподіл праці, коли інженери-людини налаштовують ядра та планувальники, а моделі обробляють запити користувачів, замінюється в Z.ai циклом, у якому модель пропонує зміни, дешеві експерименти підтверджують їх, а щільний зворотний зв’язок направляє наступну спробу.
Заяви про повністю автономне самовдосконалення слід читати уважно. У самій публікації пояснюється, що інженери-людини визначили сценарії тестування, встановили критерії прийнятності та створили середовища зворотного зв’язку, у якому працює агент. Те, що компанія описує, — це автоматизація добре обладнаного циклу оптимізації, а не система, яка переробляє себе без нагляду.
Незважаючи на це, напрямок зрозумілий. Якщо економіка штучного інтелекту в найближчі кілька років вирішуватиметься тим, хто може обслуговувати інтелект найдешевше, лабораторії, які навчають свої моделі оптимізувати власну інфраструктуру, можуть задавати темп, і Z.ai хоче, щоб індустрія знала, що вона має намір стати однією з них.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
