Економіка інфраструктури ШІ змінилася. За словами керівника Positron AI Камерона Маккаскілла, який поділився цією цифрою в інтерв’ю theCUBE Research на конференції з суперкомп’ютерів SC26, приблизно дві третини робочих навантажень, які сьогодні проходять через інфраструктуру ШІ, є висновками, а не навчанням. Три роки тому поділ був майже протилежним: приблизно 85 відсотків тренувань і 15 відсотків висновків.
Ця зміна тихо перемальовує карту того, де живуть обчислення штучного інтелекту — і це пояснює, чому нове покоління виробників чіпів, які першочергово роблять висновки, раптово виграє хмарні угоди від компаній, набагато більших за них самих.
Цифри за переворотом
«Ми знаходимося на тому етапі, коли приблизно дві третини робочих навантажень, які виконуються через ці інфраструктури штучного інтелекту, є висновками, а одна третина — навчанням», — сказав Маккаскілл, керівник відділу продажів і розвитку бізнесу в Positron, в інтерв’ю з Ребеккою Найт і Джоном Фур’єром з theCUBE Research. «Ще в 2023 році це було як 85% навчання, 15% висновків. Тож тепер ви можете зрозуміти, чому висновки керують економічними рішеннями щодо того, як вони збираються будувати свою інфраструктуру».
Зсув має інтуїтивний сенс. Навчання відбувається в кількох передових лабораторіях із кластерами на мільярди доларів. Висновки відбуваються скрізь, щоразу, коли користувач пропонує модель — і в міру того, як споживачі та підприємства сприяють вибуху, сукупний попит на токени перевищив інфраструктуру, створену для ери навчання. Живлення, охолодження та джерело пам’яті тепер визначають, де генеруються токени, так само, як і продуктивність необробленого чіпа, і це змінює те, яке обладнання виграє.
Ставка Позитрона на товарну пам'ять
Positron AI, який у вересні залучив 875 мільйонів доларів при оцінці в 5 мільярдів доларів, побудував всю свою стратегію навколо епохи висновків. Основний вибір компанії: відмовитися від пам’яті з високою пропускною здатністю (HBM), дефіцитного та дорогого типу пам’яті, на якому базується більшість прискорювачів штучного інтелекту, і натомість створювати пристрої логічного висновку на основі звичайної пам’яті.
«Майже всі інші в галузі використовують те, що називається HBM або пам’ять високої пропускної здатності. Її пропозиція дуже обмежена, вона дуже дорога», — сказав Маккаскілл. «Ми пішли з товарною пам’яттю».
Компроміси є навмисними. Звичайна пам’ять дешевша, її набагато легше отримати, а архітектура Positron забезпечує достатньо низьку потужність для приміщень з повітряним охолодженням — екзотичне рідинне охолодження не потрібне. Один сервер Positron споживає приблизно 4500 Вт, а повна стійка майбутніх серверів компанії Titan вміщується в 40 кіловат.
Дорожня карта швидко просувається. Сервер Positron Atlas першого покоління працював на програмованому чіпі, і на початку наступного року компанія планує виготовити власний кремній для сервера Titan. За словами МакКаскілла, компанія вже розгорнула шатер: цього кварталу Oracle переносить приблизно 340 серверів Atlas у свою хмару, а провайдер neocloud підписав Atlas, одночасно беручи участь у майбутньому поколінні Titan.
Модульні центри обробки даних стають природним місцем для висновків
Мабуть, найважливішою частиною інтерв’ю є те, звідки, за словами Маккаскілла, надходить попит: не гіпермасштабні кампуси, а невеликі, швидкі, модульні приміщення.
«Одна з груп компаній, кількість яких зараз зростає і які звертаються до нас за продуктами, — це ці модульні центри обробки даних, де вони мають модульні центри обробки даних на півмегават, 1 мегават або 2,5 мегават, і їх можна дуже швидко розгорнути», — сказав він. «Мета багатьох із цих гравців полягає в тому, щоб я хочу перейти від землі та влади до монетизованих токенів протягом 90–120 днів».
Такий графік — приблизно чверть від відкриття землі до отримання прибутку — неможливий для навчального містечка потужністю гігават, для отримання дозволу, будівництва та активації якого знадобляться роки. Робочі навантаження для висновків менші, географічно гнучкіші та толерантні до сайтів, де оператори можуть знайти кілька мегават дешевої електроенергії без серйозних нормативних перешкод. Результатом є новий рівень інфраструктури розподіленого логічного висновку, що знаходиться на сайтах телекомунікаційних компаній, об’єктах спільного розміщення та модульних блоках ближче до того місця, де насправді є попит.
Що це означає для галузі
Для постачальників чіпів повідомлення полягає в тому, що ринок обладнання штучного інтелекту роздвоюється. Навчання продовжує винагороджувати найдосконаліші прискорювачі та найглибші кишені. Висновок винагороджує різні переваги: енергоефективність, вартість пам’яті, швидкість розгортання та можливість працювати у звичайних будівлях із повітряним охолодженням. Постачальники, оптимізовані лише для навчання, можуть виявити, що більшість майбутніх рішень щодо розгортання — де токени фактично монетизуються — відбуватимуться на обладнанні, розробленому для іншого набору обмежень.
Для підприємств і хмарних клієнтів ця зміна здебільшого непомітна, але все більш значуща: потужність висновків, яка надходить з кроком від 90 до 120 днів, означає більш конкурентоспроможні ціни та більше географічних можливостей для запуску моделей поблизу користувачів і даних.
А для розповіді про розвиток індустрії штучного інтелекту, яку часто оформляють як нескінченну гонку за гігаватні кампуси, зміна висновків є нагадуванням про те, що крива попиту розширюється, а не просто масштабується. Віха у дві третини, зазначена на SC26, є оцінкою одного керівника, але вона збігається з напрямком, про який повідомляли всі великі хмарні оператори: центр тяжіння конструкції ШІ переміщується від навчання моделей до їх обслуговування.
Будьте попереду ШІСлідкуйте за останніми розробками ШІ за допомогою AI Buzz Wire, вашого джерела новин про обладнання та інфраструктуру ШІ.
Читати більше новин AI →