Anthropic запустила OSS Scanner, бесплатный сервис, который использует самые сильные модели искусственного интеллекта компании, в том числе Claude Mythos, для периодического сканирования подходящих проектов с открытым исходным кодом на наличие уязвимостей безопасности и доставки полностью сгенерированных моделью отчетов об ошибках непосредственно сопровождающим.

Услуга, о которой было объявлено в среду в блоге компании, является результатом тихого изменения в работе Anthropic по обеспечению безопасности: в последнее время ее модели находят уязвимости быстрее, чем собственная команда безопасности Anthropic может их проверить. Для разработчиков, отслеживающих инструменты, меняющие безопасность программного обеспечения, запуск является важным моментом в нашем освещении [разработок искусственного интеллекта] (https://aibuzzwire.news) в инфраструктуре с открытым исходным кодом.

От проекта Glasswing к государственной службе

OSS Scanner основан на опыте Anthropic по использованию Claude для поиска уязвимостей во время Project Glasswing, внутренней программы компании по обнаружению уязвимостей. Цифры из этой работы объясняют, почему Anthropic открывает проект для общественности.

По данным Anthropic, за последние шесть месяцев ее последние модели выявили более 29 000 потенциальных уязвимостей в некоторых из наиболее важных мировых программных проектов, но компания смогла вручную просмотреть и отсортировать только около 6000 из них. Узким местом стала способность человека к проверке, а не возможности модели.

Со стороны спроса происходит аналогичная история. Anthropic сообщает, что сопровождающие, получающие первые отчеты, все чаще запрашивают все, что есть у компании: около 5000 отчетов уже отправлены напрямую сопровождающим, которые запросили массовую отправку непроверенных результатов, включая исправления.

Контекст возможностей является суровым. По данным Anthropic, в CyberGym, академическом тесте по поиску уязвимостей, большие языковые модели выросли с менее 20 процентов уязвимостей в начале прошлого года до более 85 процентов в этом году — скачок, который превратил отчеты об ошибках ИИ из шума в практические выводы.

Как цифры выдержали тестирование

Перед запуском Anthropic проверила конвейер на десятках проектов с открытым исходным кодом, создав сотни отчетов об ошибках, включая уязвимости, которые, по словам компании, могут быть связаны с эксплойтами удаленного выполнения кода без аутентификации.

Самый показательный тест включал в себя стороннюю проверку. Anthropic попросила экспертов-тестеров на проникновение, которые проверяют результаты скоординированного раскрытия уязвимостей (CVD), изучить 97 критических и высококритичных результатов сканирования, полученных из 48 проектов. Из них 85–88 процентов соответствовали планке процесса сердечно-сосудистых заболеваний Anthropic. Из оставшихся 12 11 были реальными, но дублировали известные проблемы или другие результаты того же сканирования. Только один был откровенно ложным срабатыванием.

По словам компании, каждый отчет содержит автономный воспроизводитель и объяснение уязвимости, включая разделение пополам, чтобы определить, когда была обнаружена уязвимость.

Компромисс: скорость важнее уверенности

Основное проектное решение OSS Scanner также является его самым большим риском: отчеты полностью генерируются на основе моделей, без проверки или сортировки человеком. В Anthropic четко заявляют, что это обеспечивает более быстрое и частое сканирование, но также и то, что некоторые отчеты будут неверными или недействительными.

Компания рассматривает этот компромисс как ответ на спрос со стороны сопровождающих. Поскольку теперь эксплойты можно разработать за считанные минуты, проекты все чаще предпочитают получать все непроверенные результаты немедленно — с предложенными исправлениями — вместо ожидания проверки человеком. Вдохновленный OSS-Fuzz от Google, который уже много лет сканирует программное обеспечение с открытым исходным кодом с помощью фаззеров, OSS Scanner применяет ту же логику для анализа кода на основе искусственного интеллекта.

Проекты, предпочитающие традиционную обработку, не остаются в стороне: Anthropic заявляет, что продолжит вручную раскрывать проверенные человеком отчеты об уязвимостях с помощью существующего процесса CVD, особенно для проектов, у которых нет ресурсов для самостоятельной сортировки отчетов. Дополнительный ускоренный режим доступен для тех, кто хочет получить необработанные результаты сразу же после их получения.

Кто может зарегистрироваться — и что еще анонсировал Anthropic

Основные сопровождающие соответствующих проектов могут зарегистрироваться, отправив запрос на включение в репозиторий GitHub по стандартному шаблону проекта. Право на участие отражает критерии OSS-Fuzz: проекты должны оказывать решающее влияние на инфраструктуру и безопасность пользователей, а допуск определяется в каждом конкретном случае.

Сканер поставляется вместе с более широким набором инициатив антропной безопасности. Программа кибер-верификации компании предоставляет квалифицированным специалистам по безопасности расширенные кибер-возможности и уменьшенные классификаторы блокировки. Ранее на этой неделе Anthropic расширила программу тремя уровнями доступа Claude для групп безопасности. Отдельный проект Claude for OSS предоставляет бесплатные подписки Claude Max 20x, которые помогают сопровождающим устранять уязвимости и улучшать свои проекты. SiliconANGLE также сообщил о новой программе Anthropic, направленной на защиту критически важной инфраструктуры, назвав объявления недели скоординированным шагом в направлении защитной кибербезопасности.

Что это значит для безопасности открытого исходного кода

Если OSS Scanner работает так, как рекламируется, это знаменует собой структурный сдвиг в безопасности открытого исходного кода: ИИ находит ошибки, а люди переходят от поиска к проверке. Этот сдвиг возлагает реальную нагрузку на специалистов по сопровождению, которым приходится проверять машинно-генерируемые отчеты (некоторые из них неправильные) и решать, стоит ли доверять автоматическим исправлениям.

Уровень проверки в 88 процентов говорит о том, что соотношение сигнал/шум теперь достаточно хорошее, чтобы оправдать время специалиста по обслуживанию, по крайней мере, для критически важных инфраструктурных проектов. Согласится ли более широкая экосистема, это отразится на количестве участников — и на том, сколько зарегистрированных проектов незаметно откажутся от участия после первого потока отчетов.

---

Будьте впереди ИИ

Получайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.

Подробнее новости AI →