Масштабна спецоперація проти індустрії штучного інтелекту задокументувала те, що відбувається з підказками, які користувачі надсилають щодня, і відповідь така: вони витікають. Дослідник безпеки Х.Д. Мур, головний науковий співробітник фірми промислової безпеки Dragos, надіслав майже два мільйони підказок штучного інтелекту, що містять унікальні секрети, які можна відстежити, постачальникам штучного інтелекту, а потім спостерігав, де ці секрети з’являються. «Те, що ми виявили, виявило порушення безпеки, швидку крадіжку та широко поширені збої в захисті даних клієнтів», — написав Мур у звіті, опублікованому в четвер.

Висновки, детально опубліковані Ars Technica, надходять, коли маршрутизатори штучного інтелекту — брокерські служби, такі як OpenRouter і Vercel, які приймають підказки від кінцевих користувачів і направляють їх до будь-якого постачальника висновків, який є найдешевшим або найкращим — стали основною інфраструктурою для тисяч програм. Вони також викликали швидку реакцію індустрії: 22 листопада OpenRouter опублікував власне повідомлення про інцидент, заявивши, що виключив трьох постачальників, вилучив 125 кінцевих точок із права на нульове збереження даних і повідомив потенційно постраждалих клієнтів.

Як працювала пастка для канарок

Мур зібрав колекцію функціональних ключів доступу до AWS, пов’язаних із порожніми обліковими записами, робочими паролями SSH, унікальними URL-адресами, іменами DNS і посиланнями на приватне сховище git. Жоден із секретів ніколи раніше не використовувався, і Мур контролював інфраструктуру на приймальному кінці. Кожен секрет був заправлений рівно в одне підказка, надіслане одному постачальнику, тож якщо секрет пізніше десь з’явиться, його шлях можна буде простежити до відповідної ланки ланцюга.

Дизайн має значення через те, як екосистема ШІ фактично переміщує дані. Підказки шифруються під час передавання, але розшифровуються під час кожного переходу. Штучний маршрутизатор зчитує відкритий текст, щоб вибрати відповідних постачальників висновків; підказка потім часто пересилається до пулу моделей, які іноді працюють у різних хостингових компаніях. Підказки можуть навіть передаватись від одного маршрутизатора до іншого — наприклад, Vercel до OpenRouter — при цьому кожен посередник може реєструвати та зберігати вміст відповідно до власних правил.

Три постачальники зламані, ключі використані протягом кількох годин

Найбільш тривожна знахідка стосується трьох окремих хостинг-провайдерів, які були скомпрометовані під час експерименту. За словами Мура, зловмисники, які зламали одного провайдера, повторно використали «пару сотень» підкинутих ключів AWS. Кожен ключ був надісланий рівно в одному запиті одному постачальнику протягом кількох коротких вікон наприкінці жовтня — і «кожен запит, який ми надіслали під час цих вікон, було вкрадено». Важливо те, що деякі викрадені ключі походять із запитів, відхилених провайдером до запуску моделі, що вказує на те, що зловмисник копіював трафік у передніх дверях провайдера, а не глибше в стеку висновків.

У двох інших порушеннях деякі з викрадених запитів були позначені як Zero Data Retention. «Прапор конфіденційності не допомагає, коли зловмисник уже всередині», — написав Мур. Сторони, які стоять за вторгненнями, перевіряли ключі-приманки в деяких випадках протягом декількох годин, переглядали сегменти S3, менеджери секретів і сховища параметрів для отримання додаткових облікових даних, намагалися ввімкнути розміщені моделі в AWS Bedrock і додавали власних користувачів IAM для підтримки доступу. Загалом, викрадені ключі використовувалися «десятки тисяч» разів у викликах API AWS. Секрети, викрадені у двох зламаних провайдерів, були використані разом, майже відразу, з того самого орендованого сервера — переконливий доказ того, що один ворог скомпрометував обох.

Торгові посередники, які крадуть, і лабораторія, яка збирає

Не кожен витік був хакером. Мур задокументував торгових посередників, які заманювали підказки низькими цінами, увімкнули реєстрацію запитів і просто чекали. Він ідентифікував їх, надсилаючи ідентичні запити одній моделі через різних продавців: коли облікові дані повторно використовувалися від одного продавця, але не від іншого, винуватець був очевидний.

Мур писав, що найяскравіший випадок сканування стосувався китайської лабораторії штучного інтелекту, чиї системи отримували секретні URL-адреси з більш ніж половини підказок, надісланих її моделям у період з липня по жовтень, включаючи приблизно дві третини запитів з явною позначкою «не збирання даних» або нульове збереження даних. Скребок зазвичай з’являвся через два-три дні після кожного запиту. Він не обмежувався прямими клієнтами: кілька американських хостинг-провайдерів перепродували моделі лабораторії, і підказки, надіслані через цих американських посередників, запускали той самий скребк. Іншими словами, клієнт, який вибрав американського провайдера спеціально для зберігання даних у США, не отримав того, за що заплатив. Окремо клієнт git в іншій хмарі почав намагатися клонувати приватні сховища, на які посилаються в підказках, але лише для підказок, які використовували моделі цієї лабораторії.

OpenRouter відповідає

Експеримент швидко дав реальні наслідки. Ars Technica повідомила в оновленому оновленні, що 21 листопада OpenRouter надіслав клієнтам електронний лист із попередженням про те, що деякі з їхніх підказок могли бути прочитані, посилаючись на дослідження: потенційне зараження включало підказки, надіслані MiniMax, китайському постачальнику моделей, безпосередньо або через трьох торгових посередників — AtlasCloud, Novita та StreamLake. OpenRouter видалив позначку «Нульове збереження даних» із кінцевих точок моделі MiniMax.

У своїй офіційній публікації в блозі 22 листопада OpenRouter підтвердив, що виключив трьох постачальників, вилучив 125 кінцевих точок із права на ZDR та сповістив постраждалих користувачів про те, чи опублікували провайдери публічні повідомлення. Компанія заявила, що результати «не показали жодних порушень або несанкціонованого доступу до самого OpenRouter», подякувала команді Dragos і заявила, що провайдери, які бажають залишитися на платформі, «потрібно досягти» зростаючої планки безпеки, оскільки OpenRouter інтегрує подібні методи тестування.

Мур також знайшов випадкові витоки з довгим хвостом: один американський хостинг-провайдер просканував секретну URL-адресу більше ніж через два місяці після одного виклику висновку до своєї кінцевої точки пошуку, а інший запустив скребок, який повертався для підсаджених URL-адрес через кілька днів після кожного запиту, незалежно від того, який маршрутизатор надіслав запит.

Що можуть робити користувачі

Найефективнішим захистом, за словами Мура, є розміщення моделей на місці — дорогий варіант, який можуть виправдати лише деякі організації. Наступним найкращим заходом є покупка безпосередньо у постачальника першого рівня з «одним контрактом і політикою конфіденційності для ознайомлення» та уникнення пулів постачальників за замовчуванням або торговельних посередників, вибираючи постачальників вище за течією самостійно. Навіть тоді, попередив він, немає гарантії, що дані не витоку.

Експеримент є найрізкішим звинуваченням щодо практики конфіденційності на швидко зростаючому ринку висновків: ланцюг між програмою та моделлю тепер може включати маршрутизатори, торговельних посередників і рівні хостингу на кількох континентах, кожен із власними політиками журналювання, а мітки, призначені для заспокоєння клієнтів, як-от Zero Data Retention, можна зламати або видалити без попередження. Для галузі, яка вимагає від підприємств вставляти свої документи, коди та облікові дані в підказки, повідомлення двох мільйонів канарок є незручним: доки не зміниться сантехніка, припускайте, що кожен стрибок може прочитати кожне слово.

Будьте попереду ШІ

Безпека та конфіденційність тепер є основними проблемами для тих, хто розробляє ШІ. Щоб отримати найновіші новини про AI та незалежне висвітлення найбільших історій галузі, відвідайте AI Buzz Wire.

Читати більше новин AI →