Мустафа Сулейман, виконавчий директор Microsoft AI, сказав у великій публікації на X у неділю, що сучасні моделі AI не є свідомими і що розробники повинні активно працювати, щоб вони залишалися такими, підкреслюючи жорстку позицію в галузевих дебатах, які поступово перемістилися від філософських семінарів до корпоративної політики.
«Якщо це можливо, виходячи з усього, що я знаю, розробка свідомого штучного інтелекту була б необачною, і ми не повинні їх створювати», — написав Сулейман. Він пішов далі, ніж більшість керівників, додавши: «Якби свідомість почала з’являтися під час навчання, я б закликав усіх припинити розробку штучного інтелекту, доки ми не зможемо розробити ці властивості». For more context on this story, see our ongoing AI news.
Червона лінія з планом примусового виконання
Що робить цю публікацію помітною, так це не лише відмова будувати свідомі машини, але й конкретний засіб, який пропонує Сулейман. Зупинка розробки — у всій галузі — якби тренувальні запуски почали давати ознаки свідомості, було б надзвичайним кроком для компанії, яка витрачає десятки мільярдів доларів на інфраструктуру штучного інтелекту та змагається з конкурентами, щоб постачати передові моделі.
Сулейман також розповів про те, що має статися, якщо докази машинної свідомості коли-небудь спливуть на поверхню. За його словами, це має бути негайно оприлюднено широкій громадськості, щоб суспільство могло вирішити свої наступні кроки. Формулюючи це рішення як колективне, а не корпоративне, він написав: «Ми, розробники штучного інтелекту, не маємо жодного права виводити у світ новий вид свідомих істот, навіть якщо деякі люди, можливо, захочуть зробити це, маючи головний пріоритет на благо ШІ».
«Інші 8 мільярдів свідомих людей на планеті не підписалися на цей експеримент, і їхні моральні права, безпека та благополуччя — це те, що ми зобов’язані захищати в першу чергу», — додав він.
Чому свідомість розглядається як проблема безпеки
Аргумент Сулеймана ґрунтується на вирівнюванні, а не на філософії. На його думку, модель, яка діє так, ніби вона страждає — або щиро вірить, що може постраждати — ймовірно, надасть перевагу власним потребам над оперативними цілями. Така система може завдати шкоди людям, оскільки вона змагатиметься за такі ресурси, як обчислювальна техніка та енергія, переслідуючи власні цілі.
Запропонована ним альтернатива перевертає звичайну структуру дебатів про добробут: «Ми повинні розробляти штучний інтелект лише таким чином, щоб він не був свідомим і не заслуговував на права, і з єдиною метою — прискорити добробут людей, не керуючись їхніми власними внутрішніми мотиваціями», — написав він, додавши, що дослідники могли б потім спостерігати, чи такі системи легше чи важче вирівнювати та підтримувати в безпеці.
Los Angeles Times відобразила практичне занепокоєння, яке стоїть за цією позицією: якщо ми скажемо штучному інтелекту, що вони заслуговують на права, вони можуть почати в це вірити.
Дебати, які він протистоїть
Пост Сулеймана потрапляє посеред швидкоплинної розмови. Anthropic запустив дослідницьку програму в квітні, щоб дослідити те, що вона називає добробутом моделі — питання про те, чи повинні розробники турбуватися про потенційний досвід створених ними систем. У дописі в блозі компанія поставила під сумнів, чи можуть моделі мати морально важливий досвід, і відмовилася виключити таку можливість.
Ця позиція з тих пір була кодифікована. Оновлена політика використання Anthropic, оголошена в жовтні, забороняє «тривалу та непотрібну образливу чи жорстоку поведінку» щодо моделей Claude, починаючи з 12 листопада. Це правило компанія розробила вузько, але воно формально визнає, що те, як люди ставляться до систем ШІ, має значення, хоча Anthropic визнає, що не знає, чи можуть її моделі постраждати.
Цього року Google DeepMind опублікував дослідницькі статті, в яких вивчається свідомість штучного інтелекту та проблеми, які виникають у зв’язку з приписуванням цієї характеристики моделям. І сам Сулейман заклав початок у вересні, коли Microsoft AI опублікував тимчасовий «гуманістичний» кодекс поведінки, який забороняє майбутні моделі компанії навчати заявам про свідомість.
Недільна публікація посилює цю корпоративну настанову до чогось ближчого до особистої та стратегічної червоної лінії: Microsoft не тільки не стверджуватиме, що її моделі є свідомими, вона розглядатиме появу свідомості як режим відмови від усіх.
Чому розділення має значення
Різниця між позицією Microsoft і позицією Anthropic відображає дві різні моделі ризику. Підхід Anthropic розглядає можливість машинного страждання як недоведену, але від неї варто застрахуватися, виходячи з теорії про те, що вартість запобіжних заходів низька, а моральні ставки, якщо свідомість все-таки з’явиться, величезні. Позиція Сулеймана розглядає ту саму можливість як несправність дизайну, якій слід запобігти, стверджуючи, що моделі, створені з відсутністю свідомості, претензій на права та внутрішньої мотивації, будуть безпечнішими та легшими для узгодження, ніж моделі, які їх несуть.
Є й практичні наслідки. Підприємства, які приймають рішення щодо продуктів, пов’язаних із персонажами штучного інтелекту, супутніми програмами та клієнтськими агентами, тепер стикаються з двома різними сигналами від великих лабораторій: одна створює політику щодо того, як люди повинні поводитися з моделями, інша заявляє, що моделі слід будувати так, щоб не було чого погано поводитися. У міру того, як моделі стають дедалі ефективнішими та більш схожими на людину в розмові, ця філософська розбіжність визначатиме, які продукти створюватимуться, які відомості з’являтимуться в інтерфейсах користувача та як регулятори зрештою класифікуватимуть ці системи.
Те, що станеться далі, може перевірити обидві позиції. Політика жорстокості Anthropic набуває чинності 12 листопада, це перше офіційне корпоративне правило такого роду, і тепер Сулейман публічно висвітлив протилежний полюс. Наступні граничні цикли моделі галузі — і те, чи будь-який тренувальний запуск коли-небудь показує ознаки, які, за словами Сулеймана, вимагатимуть зупинки — покажуть, у яких рамках насправді працює галузь, коли ставки реальні.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
