Инвестиционная исследовательская фирма хотела доказать, что ИИ может произвести революцию в разработке лекарств. Поэтому они объединились с Anthropic, чтобы посмотреть, сможет ли неизданная версия Claude создать противоядие от скорпиона. Это не удалось — и подробная проверка фактов, опубликованная The Verge 22 октября, показывает, насколько именно эксперимент не соответствовал заявлению о вирусе, даже несмотря на то, что исследователи признают, что лежащие в его основе результаты были «технически многообещающими».

Этот эпизод представляет собой тематическое исследование того, как распространяются заявления об открытии лекарств ИИ: яркий эксперимент, триумфальный пост в блоге и разрыв между тем, что было продемонстрировано, и тем, что подразумевалось в заголовках. Для отрасли, где финансирование искусственного интеллекта все больше зависит от научного повествования, стоит внимательно прочитать.

Как проходил эксперимент

За экспериментом стоит фирма Citrini Research, которая опубликовала в блоге сообщение под названием «Мы хотели использовать Клода для создания нового лекарства. Вот что произошло». Как сообщает The Verge, отчет сопровождался риторическими вопросами, подробным описанием любительских научных приключений команды и цитатой Чарльза Дарвина. Сама Читрини признала, что «никто из нас не может утверждать, что знает что-либо об искусственном интеллекте в контексте биологии».

Сотрудничество имело необычное происхождение. Цитрини наткнулся на ограждения биобезопасности Клода, пытаясь заставить модель исследовать кандидатов на лекарства, и автор сообщения говорит, что они «рассылали спам всем в моем списке контактов, кто работал в лаборатории искусственного интеллекта», пока не нашли подходящего партнера. Anthropic согласилась снять ограничения и предоставить команде доступ к более продвинутой, неизданной модели — при условии, что они будут работать из офисов Anthropic. Лаборатория искусственного интеллекта также оплатила счет за вычисления и токены, который составил чуть меньше 50 000 долларов.

Противоядие от скорпионов было подходящей мишенью: это дорогостоящее лечение, которое трудно произвести и которое часто включает инъекции яда лошадям. Целью было использовать Клода для разработки белков, которые могли бы связываться с токсинами яда скорпиона.

Вооружившись 35-страничной подсказкой, команда задействовала около 300 субагентов для обнаружения подходящих белков. В более трезвом отчете Anthropic говорится, что Клод создал около 320 000 кандидатов и сократил их до 180 образцов, отбросив те, которые напоминают известные токсины или существующие белки. Весь процесс занял 64 часа. Работая с Клодом, команда добавила еще 31 дизайн, в результате чего их общее количество достигло 211.

Что нашли влажные лаборатории

Затем Цитрини отправил образцы в две сторонние лаборатории — швейцарскую биотехнологическую компанию Adaptyv Bio и американскую Twist Biosciences — чтобы проверить, могут ли белки действительно связываться с намеченными целями. Это тестирование обошлось примерно в 150 000 долларов, в результате чего общая сумма расходов составила около 200 000 долларов. Остается неясным, почему тесты не могли быть проведены в собственной биологической лаборатории Anthropic в Калифорнии.

Результаты: 17 белков прошли проверку, вместе связавшись с четырьмя из пяти токсинов скорпионов, на которые команда надеялась нацелиться. Ни один из белков не связан более чем с одним токсином.

И на этом история заканчивается с научной точки зрения. Связывание с токсином не означает, что белок может его нейтрализовать, не говоря уже о том, чтобы действовать как безопасное и эффективное лечение. В собственном сообщении Цитрини признается, что «ни один эксперимент еще не проверил, действительно ли они остановили действие токсина». Другими словами, фирма намеревалась создать новый препарат, а вместо этого выполнила гораздо более ранний этап разработки — тот, который эксперты описывают как сравнительно легкий этап.

Эксперты: многообещающе, но преждевременно

The Verge проконсультировалась с несколькими академическими специалистами, и их мнение оказалось неизменным. «Очень легко найти хорошее связующее средство против токсинов змей и скорпионов», — сказал Андреас Хугаард Лаустсен-Киль, профессор технологий антител в Техническом университете Дании. «Самое сложное — превратить это в лекарство».

Двое его коллег из DTU — доцент Мелиса Бенар Валле и старший научный сотрудник Энн Юнгарс — пошли еще дальше, назвав полученные результаты «далекими от лекарства и разрекламированными». Они написали, что результаты технически многообещающие, но безопасность, стабильность, поведение в организме и возможности развития остаются неизвестными. «Преобразование этих связующих в настоящее лекарство, вероятно, все еще остается долгим и сложным процессом». По их мнению, по-настоящему новым элементом эксперимента был автономный процесс открытия, а не биологические результаты.

Андреас Бендер, профессор машинного обучения в медицине в Университете Халифа в Абу-Даби и приглашенный профессор Кембриджского университета, добавил контекст, который еще больше обесценивает новинку: существующие методы, такие как высокопроизводительный скрининг, часто позволяют найти множество совпадений-кандидатов по приемлемым ценам без какого-либо искусственного интеллекта вообще. По его словам, создание белков, которые связываются с мишенями, является «своего рода» решенной проблемой. «Именно этого перевода не хватает».

Бизнес-аспект

Зачем инвестиционной исследовательской фирме тратить 200 000 долларов на то, чтобы не производить лекарство? Потому что эксперимент одновременно является маркетингом. Читрини назвал это мероприятие своего рода успехом, утверждая, что оно дает представление об инвестиционных возможностях в грядущую эпоху открытия лекарств с помощью искусственного интеллекта. Специфика ее оптимистичного тезиса была предназначена для платных подписчиков, хотя Bloomberg сообщил, что фирма выделила компании, занимающиеся тестированием разработки лекарств, в том числе Charles River Laboratories, которая поставляет приматов для исследований на животных.

Выбор кадра говорит сам за себя. В видео, посвященном эксперименту, Читрини назвал часть ИИ «бесплатной», не обращая внимания на вкладку примерно в 50 000 долларов, которую взял Anthropic. В ответ на критику фирма обвинила критиков в придирках, написав: «Не для того, чтобы бить дохлую лошадь, но мы инвестиционно-исследовательская фирма, а не биотехнологический стартап». Ни Citrini, ни Anthropic не ответили на просьбу The Verge о комментариях.

Контекст здесь тоже имеет значение. Ранее Читрини стоял за широко распространенным произведением, изображающим экономическую катастрофу, вызванную искусственным интеллектом, которая получила распространение в социальных сетях и потрясла реальные рынки. У Anthropic, которой осталось всего несколько недель до долгожданного IPO, есть свои причины говорить о потенциале ИИ в разработке лекарств и науках о жизни — двух областях, которыми она активно занимается.

Что на самом деле доказал эксперимент

Лишенный ажиотажа эксперимент демонстрирует нечто реальное, но более узкое, чем предполагалось в заголовках: модель искусственного интеллекта, действующая с необычной автономией, может дешево и быстро провести крупномасштабный поиск белков-кандидатов, создав короткий список, содержащий подлинные связывающие вещества. Это значительный прирост производительности для исследовательской работы на ранних стадиях.

Но расстояние от «17 белков, которые связываются» до «противоядия, спасающего жизни» охватывает исследования безопасности, рецептуры, испытания эффективности и нормативные испытания — долгую и дорогостоящую часть разработки лекарств, которую еще не удалось сжать никакими вычислениями. Эксперты рассказали The Verge, что превращение многообещающих молекул в эффективные лекарства остается гораздо более сложной задачей, чем их поиск.

Урок для читателей, оценивающих следующую вирусную историю в области науки об искусственном интеллекте, прост: спросите, стал ли результат открытием, включением в короткий список или предложением подписки.

Будьте впереди ИИ

Разрушьте эту шумиху, освещая новости об искусственном интеллекте на AI Buzz Wire.

Читать больше новостей об искусственном интеллекте →