Тести штучного інтелекту визначають, які моделі потраплять у заголовки, і компанії, що створюють ці моделі, навчилися їх перемагати. Стартап під назвою Vals, створений у 2024 році, робить ставку на те, що галузі потрібен рефері, чиї тести не можна обіграти, і інвестори щойно підтримали цю ставку значною мірою: минулого місяця Vals зібрав Серію A на чолі з Андріссеном Горовіцем у розмірі 40 мільйонів доларів після раунду посіву, проведеного 8VC і Bloomberg Beta.

Зростання компанії відбувається на тлі зростаючого занепокоєння щодо того, як вимірюються можливості ШІ та що відбувається, коли мірило стає маркетинговим інструментом. Щоб дізнатися більше про бізнес штучного інтелекту, слідкуйте за висвітлення галузі штучного інтелекту.

Коли контрольні показники стають маркетингом

Бенчмаркінг став галузевою нормою для перевірки можливостей моделей штучного інтелекту — і, коли цифри змінюються, для реклами переваги над конкурентами. Хороші показники означають хороші зв’язки з громадськістю.

За словами співзасновника та генерального директора Vals Раяна Крішнана, проблема полягає в тому, що багато застарілих тестів були створені для моделей попереднього покоління, і компанії з’ясували, як оптимізувати їх. Коли тестові матеріали є загальнодоступними, модель можна ефективно навчити складати іспит — практика, яку індустрія по-різному описує як забруднення, переобладнання або відверте шахрайство.

«Ми бачили, як на ринок швидко з’явилася купа нових, дуже потужних моделей, і академічні тести [не] встигали за цим передовим прогресом», — сказав Крішнан в інтерв’ю TechCrunch.

Приватні тести, реальні завдання

Vals використовує інший підхід на двох фронтах. По-перше, він не розкриває публічно свої конкретні тестові матеріали, що значно ускладнює для компанії підготовку своїх моделей до іспиту. По-друге, замість вимірювання абстрактних знань — чи може модель відповісти на запитання в стилі адвокатського іспиту — Vals оцінює, як моделі виконують складні завдання в конкретних галузях, таких як право, фінанси та кодування.

«Те, що ми робимо, — це фактично розглядати реальний вплив моделей», — сказав Крішнан. «Чи можуть вони виконувати роботу, яка виробляє продукт такої ж якості, як і людина в будь-якій сфері?»

Компанія також вимірює невдачі, а не лише успіхи. Крішнан сказав, що Валс має на меті проаналізувати, «якщо б ці моделі стали шаленими у світі, які б були негативні наслідки» — філософія оцінки, яка розглядає ризик зниження як вимірний результат, а не запізнілу думку.

Від права та фінансів до Женевських конвенцій і рекурсивного самовдосконалення

Обсяг оцінок Vals продовжує розширюватися за межі коріння професійних послуг. Крішнан сказав, що поряд з юриспруденцією, фінансами та тестуванням кодування компанія зараз проводить тести на психічне здоров’я, кібербезпеку та біозахист, а також тести на рекурсивне самовдосконалення — тему, яка частіше обговорюється в колах безпеки штучного інтелекту, ніж у комерційних пакетах оцінки.

Мабуть, найбільш вражаючою є його робота над правом збройних конфліктів, де Vals перевіряє, як моделі розуміють і застосовують Женевську конвенцію. Широта сигналізує про те, звідки надходить попит: не лише лабораторії, що змагаються за найкращі таблиці лідерів, але й підприємства та установи, яким потрібні докази того, як моделі поводяться в сферах з високими ставками, перш ніж їх розгортати.

Бізнес-модель: платіть за проходження тесту

Компанії платять Vals за оцінку їхніх моделей — це може здатися нелогічним. Навіщо компанії платити за результати, які можуть її збентежити? Крішнан порівнює цю модель зі студентом, який платить Раді коледжу за складання SAT: незалежне вимірювання, навіть невтішне, допомагає компанії вирішувати проблеми та покращуватись з часом.

Ринок, здається, реагує. Vals каже, що наразі його дохід у вісім разів перевищує показник минулого року, а з початку року його команда зросла втричі, з восьми осіб до 25. Компанія працює з двоповерхового офісу на Фолсом-стріт у Сан-Франциско — будівлі колишнього пивоварного заводу, де тепер розміщено кілька стартапів.

За словами компанії, оцінки також стають факторами прийняття рішень для підприємств, які купують моделі штучного інтелекту, надаючи контрольним показникам роль, ближчу до належної перевірки, ніж до маркетингу.

25-річний засновник із сидінням у першому ряду

25-річний Крішнан стажувався в Palantir і, будучи студентом Стенфордського університету, працював у Microsoft і відомій університетській лабораторії штучного інтелекту. Він каже, що Vals народився, спостерігаючи за тим, як оцінка відстає від галузі, яку вона мала вимірювати — розрив, який лише збільшився, оскільки нові моделі з’являються швидше, ніж можуть бути розроблені, перевірені та опубліковані академічні тести.

Тепер стартап приєднується до невеликої, але зростаючої когорти компаній, які намагаються інституціоналізувати оцінку штучного інтелекту, простір, який включає наукові зусилля, проекти лідерів із відкритим кодом та інститути безпеки. Те, що відрізняє Vals, — це модель приватного тестування та зосередженість на платних галузевих оцінках, а не на публічних рейтингах.

Чому це важливо

Проблема довіри індустрії штучного інтелекту до еталонних тестів добре задокументована: витік наборів тестів, підозрілі стрибки в таблиці лідерів і маркетингові заяви, що випереджають продуктивність у реальному світі. Якщо покупці — особливо підприємства та уряди — почнуть покладатися на приватні оцінки, засновані на завданнях, як у Vals, стимули для розробників моделей можуть перейти від навчання до тестування в бік справжніх можливостей.

Це ще далеко від вирішення. Приватний бенчмарк все ще просить покупців довіряти судді, а клієнти Vals — це ті ж компанії, які оцінюються. Але з серією A в розмірі 40 мільйонів доларів США, восьмикратним зростанням доходів і попитом, що охоплює фінансування до біозахисту, можна зробити ставку на те, що незалежне оцінювання стає інфраструктурою — послугою, за яку економіка штучного інтелекту буде платити незалежно від того, втішають її результати чи ні.

Будьте попереду ШІ

Хто міряє мірками? Слідкуйте за бізнесом оцінки штучного інтелекту та стартапами, які його змінюють, на AI Buzz Wire, вашому джерелі найновіших новин штучного інтелекту.

Читати останні новини AI →