Anthropic запустила OSS Scanner, безкоштовну послугу, яка використовує найпотужніші моделі штучного інтелекту компанії, включно з Claude Mythos, для періодичного сканування відповідних проектів з відкритим кодом на наявність вразливостей у безпеці та надання повністю згенерованих моделями звітів про помилки безпосередньо супроводжувачам.
Сервіс, про який було оголошено в середу в блозі компанії, є результатом тихих змін у роботі Anthropic із забезпечення безпеки: останнім часом його моделі знаходять уразливості швидше, ніж власна команда безпеки Anthropic може їх перевірити. Для розробників, які відстежують інструменти, що змінюють безпеку програмного забезпечення, запуск є важливим моментом для нашого висвітлення [розробок ШІ] (https://aibuzzwire.news) в інфраструктурі з відкритим кодом.
Від проекту Glasswing до державної служби
OSS Scanner базується на досвіді Anthropic використання Claude для пошуку вразливостей під час проекту Glasswing, внутрішньої роботи компанії з виявлення вразливостей. Цифри з цієї роботи пояснюють, чому Anthropic відкриває трубопровід для громадськості.
За останні шість місяців Anthropic каже, що в її останніх моделях було виявлено понад 29 000 потенційних уразливостей у деяких з найважливіших програмних проектів у світі, але компанія змогла вручну переглянути та відсортувати лише близько 6 000 із них. Вузьким місцем стала здатність людини перевіряти, а не здатність моделі.
Сторона попиту розповідає схожу історію. Anthropic повідомляє, що супроводжувачі, які отримують перші звіти, все частіше запитують усе, що є в компанії: майже 5000 звітів уже надіслано безпосередньо супроводжувачам, які вимагали масове подання неперевірених знахідок, включаючи виправлення.
Контекст можливостей різкий. На CyberGym, академічному еталонному тесті пошуку вразливостей, великі мовні моделі виявляли менше ніж 20 відсотків уразливостей на початку минулого року до понад 85 відсотків цього року, згідно з Anthropic — стрибок, який перетворив звіти про помилки штучного інтелекту з шуму в дієві висновки.
Як цифри витримали тестування
Перед запуском Anthropic підтвердила конвеєр за допомогою десятків проектів з відкритим вихідним кодом, створивши сотні звітів про помилки, включаючи вразливості, які, за словами компанії, можуть бути пов’язані з експлойтами неавтентифікованого віддаленого виконання коду.
Найпоказовіший тест передбачав зовнішній огляд. Anthropic попросив експертів-тестерів на проникнення, які перевіряють результати скоординованого виявлення вразливостей (CVD), вивчити 97 критичних і серйозних висновків сканера, взятих із 48 проектів. З них 85—88 відсотків — витримали планку для процесу Anthropic щодо ССЗ. З решти 12 11 були справжніми, але дубльованими відомими проблемами або іншими результатами того самого сканування. Лише один був відвертим хибним позитивним результатом.
Кожен звіт, за словами компанії, містить самостійний відтворювач і пояснення вразливості, включаючи розділення навпіл, щоб визначити, коли була введена вада.
Компроміс: швидкість над певністю
Головне проектне рішення OSS Scanner також є його найбільшим ризиком: звіти повністю створюються моделлю, без перевірки чи сортування людьми. Anthropic чітко зазначає, що це забезпечує швидше та частіше сканування, але також і те, що деякі звіти будуть неправильними або недійсними.
Компанія розглядає компроміс як реакцію на попит супроводжуючого. Оскільки експлойти тепер можна розробити за лічені хвилини, проекти все частіше віддають перевагу отримувати кожну неперевірену знахідку негайно — із запропонованими виправленнями — замість того, щоб чекати перевірки людьми. Натхненний OSS-Fuzz від Google, який роками сканував програмне забезпечення з відкритим кодом за допомогою фаззерів, OSS Scanner застосовує ту саму логіку до аналізу коду за допомогою ШІ.
Проекти, які віддають перевагу традиційній обробці, не залишаються осторонь: Anthropic каже, що продовжуватиме розкривати перевірені людиною звіти про вразливості вручну через існуючий процес CVD, особливо для проектів, які не мають ресурсів для сортування звітів. Додатковий швидкий доступ доступний для тих, хто хоче отримати необроблені результати відразу після їх створення.
Хто може зареєструватися — і що ще оголосив Anthropic
Основні супроводжувачі відповідних проектів можуть зареєструватися, надіславши запит на отримання до репозиторію GitHub за стандартним шаблоном проекту. Прийнятність відповідає критеріям OSS-Fuzz: проекти мають критично впливати на інфраструктуру та безпеку користувачів, а допуск вирішується в кожному конкретному випадку.
Сканер поставляється разом із більш широким набором ініціатив безпеки Anthropic. Програма кіберперевірки компанії надає розширені кібер-можливості та зменшені класифікатори блокування доступними для кваліфікованих фахівців із безпеки — програму Anthropic розширила на початку цього тижня трьома рівнями доступу Claude для команд безпеки. Окрема програма Claude for OSS надає безкоштовні підписки Claude Max 20x, щоб допомогти супроводжувачам усунути вразливості та покращити свої проекти. SiliconANGLE також повідомив про нову програму Anthropic, зосереджену на захисті критично важливої інфраструктури, оформляючи анонси тижня як скоординований поштовх до захисної кібербезпеки.
Що це означає для безпеки з відкритим кодом
Якщо OSS Scanner працює, як рекламується, це знаменує структурну зміну безпеки з відкритим кодом: ШІ знаходить помилки, а люди переходять від полювання до перевірки. Ця зміна перекладає реальний тягар на супроводжувачів, які повинні сортувати створені машиною звіти (деякі з них неправильні), вирішуючи, чи довіряти автоматичним виправленням.
88-відсотковий рівень перевірки свідчить про те, що співвідношення сигнал/шум тепер достатньо добре, щоб коштувати часу супроводжувача, принаймні для критичних інфраструктурних проектів. Те, чи погоджується ширша екосистема, відобразиться в кількості зареєстрованих проектів — і в тому, скільки зареєстрованих проектів тихо відмовилися від участі після першої маси звітів.
---
Будьте попереду ШІОтримуйте останні новини штучного інтелекту, аналіз і прориви — усе в одному місці.
Читати більше новин AI →
