Тесты искусственного интеллекта решают, какие модели попадают в заголовки новостей, и компании, создающие эти модели, научились их превзойти. Стартап под названием Vals, созданный в 2024 году, делает ставку на то, что отрасли нужен рефери, чьи тесты невозможно обмануть, и инвесторы только что активно поддержали эту ставку: в прошлом месяце Vals привлекла серию A на сумму 40 миллионов долларов во главе с Андриссеном Горовицем после посевного раунда, возглавляемого 8VC и Bloomberg Beta.

Рост компании происходит на фоне растущего беспокойства по поводу того, как измеряются возможности искусственного интеллекта и что произойдет, когда эта мера станет маркетинговым инструментом. Дополнительную информацию о бизнесе в области искусственного интеллекта можно найти в освещении отрасли искусственного интеллекта.

Когда контрольные показатели становятся маркетингом

Бенчмаркинг стал отраслевой нормой для проверки возможностей моделей ИИ, а когда цифры колеблются в сторону компании, для рекламы превосходства над конкурентами. Хорошие критерии означают хорошие связи с общественностью.

Проблема, по словам соучредителя и генерального директора Vals Райана Кришнана, заключается в том, что многие устаревшие тесты были созданы для более раннего поколения моделей, и компании придумали, как их оптимизировать. Когда тестовые материалы общедоступны, модель можно эффективно подготовить к сдаче экзамена — практика, которую в отрасли называют «загрязнением», «переоснащением» или откровенным мошенничеством.

«Мы видели, как на рынок быстро вышло множество новых, очень функциональных моделей, а академические показатели [не успевали] за этим передовым достижением», — сказал Кришнан в интервью TechCrunch.

Частные тесты, реальные задачи

Вальс использует другой подход по двум направлениям. Во-первых, компания не раскрывает публично свои конкретные тестовые материалы, из-за чего компании гораздо сложнее подготовить свои модели к экзамену. Во-вторых, вместо измерения абстрактных знаний (может ли модель ответить на вопросы экзамена на адвоката) Вальс оценивает, как модели выполняют сложные задачи в конкретных отраслях, таких как право, финансы и программирование.

«На самом деле мы изучаем, каково реальное влияние моделей», — сказал Кришнан. «Могут ли они выполнять работу, производящую продукт того же качества, что и человек, во всех областях?»

Компания также измеряет виды неудач, а не только успехи. Кришнан сказал, что Вальс стремится проанализировать, «если бы эти модели вышли из-под контроля в мире, каковы были бы негативные последствия» — философия оценки, которая рассматривает риск ухудшения ситуации как измеримый результат, а не второстепенную мысль.

От права и финансов к Женевским конвенциям и рекурсивному самосовершенствованию

Объем оценок Vals продолжает расширяться за пределы сферы профессиональных услуг. По словам Кришнана, наряду с тестами в области права, финансов и кодирования, компания сейчас проводит тесты в области психического здоровья, кибербезопасности и биобезопасности, а также тесты по рекурсивному самосовершенствованию — тема, которая чаще обсуждается в кругах по безопасности искусственного интеллекта, чем в коммерческих оценочных пакетах.

Пожалуй, наиболее поразительной является его работа по праву вооруженных конфликтов, где Вальс проверяет, как модели понимают и применяют Женевскую конвенцию. Широта указывает на то, откуда исходит спрос: не только лаборатории стремятся занять первые места в списках лидеров, но и предприятия и учреждения, которым нужны доказательства того, как модели ведут себя в областях с высокими ставками, прежде чем их развертывать.

Бизнес-модель: платите за прохождение теста

Компании платят Вэлсу за оценку своих моделей — механизм, который может показаться нелогичным. Зачем компании платить за результаты, которые могут ее поставить в неловкое положение? Кришнан сравнивает эту модель со студентом, который платит совету колледжа за сдачу SAT: независимое измерение, даже нелестное, помогает компании устранять неполадки и со временем совершенствоваться.

Рынок, кажется, реагирует. Вальс говорит, что ее доход в настоящее время в восемь раз превышает прошлогодний, а ее команда утроилась с начала года, увеличившись с восьми человек до 25. Компания работает в двухэтажном офисе на Фолсом-стрит в Сан-Франциско — бывшем здании пивоварни, в котором сейчас размещается несколько стартапов.

По мнению компании, оценки также становятся фактором принятия решений для предприятий, приобретающих модели искусственного интеллекта, что придает эталонам роль, более близкую к комплексной проверке, чем к маркетингу.

25-летний основатель с местом в первом ряду

Кришнан, 25 лет, проходил стажировку в Палантире и, будучи студентом Стэнфорда, работал в Microsoft и известной университетской лаборатории искусственного интеллекта. По его словам, Валс родился из-за того, что наблюдал, как оценка отстает от отрасли, которую она должна была измерять — разрыв, который только увеличивается по мере того, как новые модели появляются быстрее, чем академические тесты могут быть разработаны, проверены и опубликованы.

Теперь стартап присоединяется к небольшой, но растущей группе компаний, пытающихся институционализировать оценку ИИ. Это пространство включает в себя академические усилия, проекты с открытым исходным кодом и институты безопасности. Что отличает Vals, так это модель частного тестирования и ориентация на платные отраслевые оценки, а не на публичные рейтинги.

Почему это важно

Проблема доверия к эталонным тестам в отрасли искусственного интеллекта хорошо документирована: утечка наборов тестов, подозрительные скачки в таблице лидеров и маркетинговые заявления, которые превосходят реальную производительность. Если покупатели — особенно предприятия и правительства — начнут полагаться на частные оценки, основанные на задачах, такие как оценка Вальса, стимулы для разработчиков моделей могут сместиться с обучения на тестирование в сторону реальных способностей.

Это далеко от урегулирования. Частный бенчмарк по-прежнему требует от покупателей доверять эксперту, а клиентами Вальса являются те же компании, которые оцениваются. Но с учетом серии А в 40 миллионов долларов, восьмикратного роста доходов и спроса, охватывающего финансирование и биобезопасность, ставка делается на то, что независимая оценка становится инфраструктурой — услугой, за которую экономика искусственного интеллекта будет платить, независимо от того, удовлетворят ее результаты или нет.

Будьте впереди ИИ

Кто измеряет измерители? Следите за бизнесом по оценке ИИ и стартапами, которые его меняют, на AI Buzz Wire, вашем источнике последних новостей ИИ.

Читайте последние новости искусственного интеллекта →