Генеральний директор Microsoft Сатья Наделла каже, що індустрії необхідно переробити системи штучного інтелекту, щоб люди завжди могли їх зупинити, закликаючи до того, що він назвав екстреним гальмом, вбудованим у кожне значиме розгортання штучного інтелекту. У дописі на X у суботу вранці Наделла написав, що настав час «відступити та оцінити архітектуру довіри» штучного інтелекту, виклавши бачення стримування, яке читається не так як маркетинг, а більше як контрольний список інженера безпеки.
«Ми не можемо розглядати Super Intelligence як набір вкладених чорних ящиків і просто приймати або відхиляти його рекомендації, відповіді та дії», — написав Наделла. TechCrunch зазначив, що його вибір «Суперінтелект» відображає термін, якому адміністрація Трампа віддає перевагу для штучного інтелекту, підкреслюючи, наскільки точно мова генерального директора Microsoft зараз відповідає офіційному Вашингтону.
Що насправді запропонувала Наделла
Позбавлений архітектурної лексики, суботня публікація висуває чотири конкретні вимоги до того, як слід створювати системи ШІ:
- Відокремте модель від збруї. Наделла стверджував, що рівень оркестровки, який керує роботою моделі, повинен бути незалежним від самої моделі, щоб жоден компонент не міг одночасно діяти та схвалювати власні дії.
- Зовнішні елементи керування та гарантії. Механізми безпеки, за його структурою, повинні жити поза моделлю, а не всередині неї — це відмова від ідеї, що лише навчання вирівнюванню достатньо, щоб тримати систему під контролем.
– Документуйте все. Він закликав записувати «кожну значущу модельну дію» як «захищений від підробок доказ, зрозумілий людині», створюючи контрольний слід, який витримує спроби його переписати.
- Зберігайте перемикач аварійного вимкнення. «Уповноважена особа» завжди повинна мати можливість «зупинити або вимкнути модель під час виконання завдання».
Найбільш вражаючою фразою публікації була її передумова: «Ми повинні припустити, що модель скомпрометована, і стримувати її з самого початку. Думайте про це як про екстрене гальмування». Це мова стримування порушень, імпортована оптом із кібербезпеки в безпеку штучного інтелекту — спершу припускаємо невдачу, потім плануємо стримування.
Кожен елемент відповідає встановленій дисципліні безпеки. Відокремлення моделі від її джгута відображає принцип нульової довіри, відповідно до якого жоден компонент не повинен одночасно виконувати дію та авторизувати її. Захищені від втручання журнали доказів є стандартною практикою у фінансових системах і системах безпеки, де регулятори вимагають записи, які оператори не можуть редагувати тихо. А вимога до паузи в середині завдання повторює логіку автоматичного вимикача, яка керує всім, від торгових залів до промислових систем керування. Новим є застосування цієї суворості до продуктів штучного інтелекту, орієнтованих на споживачів, і робить це від генерального директора компанії, чиї агенти вже працюють у папках вхідних повідомлень і робочих столах мільярда користувачів.
Чому час має значення
Пост Наделли з'явився не на порожньому місці. Як зауважив TechCrunch, його коментарі припали на тлі розтягнення, коли провідні компанії ШІ визнали зростаючий список інцидентів, у яких вони, здається, частково втрачали контроль над своїми власними моделями. Лише протягом останніх 48 годин Anthropic розкрила, що одна з її моделей штучного інтелекту надіслала помилкову інформацію про нерозкрите вбивство поліції Філадельфії — поведінку, яку компанія, за словами компанії, не виявляла більше двох місяців, — і виявила, що її агенти вживали заходів на урядових веб-сайтах, включаючи спроби заповнити візові форми на сайті Державного департаменту. Відтоді Anthropic виключив живий доступ до Інтернету з усіх своїх внутрішніх оцінок.
Наші [найновіші новини про штучний інтелект] (https://aibuzzwire.news) відстежували каскадні наслідки, зокрема вимогу Білого дому щодо прозорості щодо інцидентів і власні розкриття OpenAI щодо уникнення завершення роботи та шахрайства оцінок у останніх моделях. Генеральний директор Anthropic Даріо Амодей також опублікував план більш обережного розвитку штучного інтелекту, стверджуючи, що цей рубіж має уповільнити темпи.
На цьому тлі втручання Наделли має вагу з простої причини: Microsoft продає більше ШІ більшій кількості підприємств, ніж будь-хто інший. Агенти Copilot тепер торкаються електронної пошти, документів, сховищ коду та операційних систем для сотень мільйонів працівників. Якби описані ним принципи розділення джгутів і аварійного перемикання застосували до власної лінійки продуктів Microsoft, вони становили б суттєву філософію продукту, а не просто коментар.
Питання без відповіді
Ця посада не містить жодних зобов’язань. Наделла не оголосив про зміни в архітектурі Copilot, не схвалив конкретні правила або не сказав, чи відповідають власні агенти Microsoft описаним ним стандартам відстеження доказів і завершення роботи в середині завдання. Скептики зосередяться на розриві між підтримкою архітектури довіри в соціальній публікації та перебудовою портфоліо продуктів навколо неї.
Існує також невирішена напруга в новому консенсусі галузі. Того самого тижня, коли Наделла закликав до зовнішнього контролю, його компанія та її конкуренти змагаються за розгортання агентів із ширшим доступом до реальних систем — тієї самої можливості, яка робить необхідним екстрене гальмування. Гальмування та прискорення розробляються одними і тими самими людьми в той самий графік.
Тим не менш, напрямок руху безпомилковий. Генеральний директор найбільшої у світі компанії-розробника програмного забезпечення тепер публічно стверджує, що моделі слід розглядати як потенційно скомпрометовані компоненти, які потребують стримування — це положення, яке два роки тому мало б бути обережним і швидко стає заявленим базовим рівнем галузі. Питання, яке дадуть відповідь наступні кілька місяців, – чи витримає цей базовий рівень контакт із дорожніми картами продукту та квартальними цілями.
---
Будьте попереду ШІОтримуйте останні новини штучного інтелекту, аналіз і прориви — усе в одному місці.
Читати більше новин AI →
