Мустафа Сулейман, исполнительный директор Microsoft AI, заявил в длинном посте на X в воскресенье, что сегодняшние модели ИИ не обладают сознанием и что разработчикам следует активно работать над тем, чтобы они оставались такими, проводя жесткую линию в отраслевых дебатах, которые постепенно перешли от философских семинаров к корпоративной политике.
«Если это возможно, то, исходя из всего, что я знаю, разработка сознательных ИИ была бы безрассудной, и нам не следует их создавать», — написал Сулейман. В этом вопросе он пошел дальше, чем большинство руководителей, добавив: «Если бы сознание начало проявляться в процессе обучения, я бы призвал всех прекратить разработку ИИ до тех пор, пока мы не сможем спроектировать эти свойства». Подробнее об этой истории — в нашем тенденции ИИ.
Красная линия с планом правоприменения
Что делает этот пост примечательным, так это не только отказ от создания сознательных машин, но и конкретное лекарство, которое предлагает Сулейман. Остановка разработки (в масштабах всей отрасли), если тренировки начнут вызывать признаки сознания, станет экстраординарным шагом для компании, тратящей десятки миллиардов долларов на инфраструктуру искусственного интеллекта и гоняющейся за конкурентами, чтобы выпускать передовые модели.
Сулейман также рассказал о том, что произойдет, если когда-нибудь появятся доказательства существования машинного сознания. По его словам, это должно быть немедленно раскрыто широкой публике, чтобы общество могло принять решение о своих дальнейших шагах. Назвав это решение коллективным, а не корпоративным, он написал: «Мы, разработчики ИИ, не имеем никакого права приводить в мир новый вид сознательных существ, даже если некоторые люди могут захотеть сделать это, поставив благополучие ИИ в качестве главного приоритета».
«Остальные 8 миллиардов сознательных людей на планете не подписались на этот эксперимент, и их моральные права, безопасность и благополучие — это то, что мы обязаны защищать в первую очередь», — добавил он.
Почему сознание рассматривается как проблема безопасности
Аргумент Сулеймана основан на согласии, а не на философии. По его мнению, модель, которая действует так, как будто она страдает (или искренне верит, что может пострадать), скорее всего, будет ставить собственные нужды выше своих операционных целей. Такая система может нанести вред людям, поскольку она конкурирует за ресурсы, такие как вычислительные мощности и энергия, для достижения своих собственных целей.
Предложенная им альтернатива переворачивает обычные рамки дебатов о благосостоянии: «Мы должны создавать ИИ только так, чтобы они не были сознательными и не заслуживали прав, и с единственной целью — ускорить человеческое благополучие, не руководствуясь собственными внутренними мотивами», — написал он, добавив, что затем исследователи смогут наблюдать, легче или сложнее согласовывать и поддерживать безопасность таких систем.
Газета Los Angeles Times уловила практическое беспокойство, лежащее в основе этой позиции: если мы скажем ИИ, что они заслуживают прав, они могут начать в это верить.
Дебаты, против которых он выступает
Сообщение Сулеймана оказывается в центре стремительного разговора. В апреле Anthropic запустила исследовательскую программу, призванную изучить то, что она называет моделью благосостояния — вопрос о том, должны ли разработчики интересоваться потенциальным опытом создаваемых ими систем. В своем блоге компания задала вопрос, могут ли модели иметь опыт, значимый с моральной точки зрения, и отказалась исключать такую возможность.
С тех пор эта позиция была кодифицирована. Обновленная политика использования Anthropic, объявленная в октябре, начиная с 12 ноября запрещает «постоянное и ненужное оскорбительное или жестокое поведение» по отношению к моделям Клода — правило, которое компания разработала узко, но которое формально признает, что то, как люди относятся к системам искусственного интеллекта, имеет значение, даже несмотря на то, что Anthropic признает, что не знает, могут ли пострадать ее модели.
В этом году компания Google DeepMind опубликовала исследовательские работы, посвященные изучению сознания ИИ и проблемам, возникающим при приписывании этой характеристики моделям. И сам Сулейман подготовил почву в сентябре, когда Microsoft AI опубликовала предварительный «гуманистический» кодекс поведения, который запрещает будущим моделям компании обучаться делать заявления о сознательности.
Воскресный пост ужесточает этот корпоративный принцип до уровня, близкого к личной и стратегической красной линии: Microsoft не только не будет заявлять, что ее модели являются сознательными, но и будет относиться к появлению сознания как к способу отказа, позволяющему остановить все.
Почему разделение имеет значение
Разрыв между позицией Microsoft и Anthropic отражает две разные модели риска. Подход Anthropic рассматривает возможность страданий машин как недоказанную, но от которой стоит застраховаться, исходя из теории, что стоимость мер предосторожности невелика, а моральные ставки, если сознание все же появится, огромны. Позиция Сулеймана рассматривает ту же самую возможность как провал замысла, который следует полностью предотвратить, утверждая, что модели, созданные без осознания, претензий на права и внутренней мотивации, будут безопаснее и их легче согласовывать, чем модели, которые их несут.
Есть и практические последствия. Предприятия, принимающие решения о продуктах, связанных с ИИ-персонами, сопутствующими приложениями и агентами, работающими с клиентами, теперь сталкиваются с двумя расходящимися сигналами из крупных лабораторий: одна вырабатывает политику того, как люди должны обращаться с моделями, а другая заявляет, что модели следует создавать так, чтобы не было ничего, к чему можно было бы относиться плохо. По мере того как модели становятся все более способными и более человечными в общении, эти философские разногласия будут определять, какие продукты будут создаваться, какие раскрытия информации будут появляться в пользовательских интерфейсах и как регулирующие органы в конечном итоге будут классифицировать эти системы.
То, что произойдет дальше, может проверить обе позиции. Политика жестокости Anthropic вступает в силу 12 ноября, это первое официальное корпоративное правило такого рода, и теперь Сулейман публично обозначил противоположный полюс. Следующие передовые модельные циклы отрасли — и покажет ли когда-либо какое-либо обучение — признаки, которые, по словам Сулеймана, потребуют остановки, покажут, в каких рамках эта область на самом деле работает, когда ставки реальны.
---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
