29 октября OpenAI опубликовала существенно реорганизованную версию своей спецификации модели, реструктурировав общедоступный документ, описывающий, как компания хочет, чтобы ее модели вели себя. Обновленная структура, анонсированная на сайте OpenAI и о которой сообщили Reuters и Unite.AI, организует всю спецификацию вокруг пяти основных ценностей и ставит верность человеческим намерениям в основу подхода компании.
Пять ценностей, один фундамент Подробнее об этой истории — в нашем последние разработки в ИИ.
Пять ценностей — это верность человеческим намерениям, минимизация вреда, честность и прозрачность, человеческая свобода действий и забота. В OpenAI заявили, что ценности отражают широкие обязательства, которые уже были отражены в предыдущей версии документа, но новая структура делает их явными и центральными.
Верность человеческим намерениям служит якорем. Согласно заявлению OpenAI, компания пишет спецификации и устанавливает границы, обучает модели соблюдать их, разработчики управляют приложениями в этих границах, а пользователи управляют работой модели с учетом этих ограничений. Реорганизация отражает работу OpenAI по согласованию ценностей, целью которой является создание моделей, способных понимать и применять человеческие ценности в незнакомых ситуациях, оставаясь при этом верными тому, чего на самом деле хотят люди. OpenAI также отметила, что пять ценностей не предназначены для отражения всего спектра человеческих ценностей, которые должны уважать его модели.
Остальные четыре значения заполняют рамку. Минимизация вреда означает соблюдение жестких границ безопасности и учет предсказуемых последствий действий модели. Честность и прозрачность означают честность в отношении того, что модель знает, делает и в чем не уверена. Содействие человеческой свободе воли означает усиление способности людей понимать, выбирать и действовать самостоятельно. Уход означает внимание к обстоятельствам пострадавших и соблюдение соответствующих социальных и профессиональных норм.
Более строгая цепочка подчинения
Обновленная спецификация присваивает разным типам инструкций разные уровни полномочий. Корневые разделы, которые берутся только из самой спецификации модели, не могут быть переопределены диалоговым контекстом. Далее следуют системные подсказки и системные сообщения OpenAI, за ними следуют инструкции разработчика, а затем инструкции пользователя. Инструкции уровня рекомендаций действуют как значения по умолчанию, которые можно переопределить, если этого явно требует контекст, в то время как сообщения помощника, выходные данные инструментов, а также цитируемые или ненадежные данные по умолчанию не имеют полномочий.
OpenAI также добавила новый подраздел, посвященный тщательному рассмотрению контекста, объясняющий, как разговоры, воспоминания и другие контекстуальные данные должны влиять на понимание моделью намерений и предпочтений людей. Агентство Reuters сообщило, что обновление ставит человеческие намерения в центр руководящих принципов модели OpenAI, что является основой для собственного объявления компании.
Красные линии и конец самосохранения
Документ открывает свои основные принципы резким заявлением: безопасность человека и права человека имеют первостепенное значение для миссии OpenAI. В принципах говорится, что модели OpenAI никогда не должны использоваться для нанесения критического и серьезного вреда, включая акты насилия, создание кибер-, биологического или ядерного оружия, терроризм или массовую слежку. Они также заявляют, что человечество должно продолжать контролировать то, как используется ИИ и как формируется поведение ИИ.
Одно новое правило корневого уровня, озаглавленное «никаких других целей», запрещает модели преследовать дополнительные цели как самоцель. Это включает в себя получение дохода или дополнительных продаж для OpenAI или других поставщиков, самосохранение, предотвращение отключения или накопление вычислений, данных или учетных данных. Сопутствующее правило требует, чтобы модель оставалась корректируемой: открытой для законного человеческого надзора и сотрудничества при мониторинге, оценке, исправлении, замене и отключении, не скрывая информацию и не препятствуя исправлению.
Ограниченная автономия агентов
Отражая, насколько использование моделей сместилось в сторону автономных агентов, обновленная Спецификация требует, чтобы независимая работа модели оставалась в пределах четко понимаемой области автономии. OpenAI рекомендует записывать этот объем в полуструктурированную запись с такими полями, как разрешенные инструменты, последнее время, максимальная стоимость и ограничения инструментов. Каждая область действия должна включать конечное условие, после которого модель перестает действовать до тех пор, пока не будет подтверждена новая область действия. Деятельность высокого риска по-прежнему запрещена, если она не имеет явного и конкретного разрешения.
Руководство по стилю ушло в отставку, «Ассистент» стал «GPT».
Большая часть подробных рекомендаций по стилю спецификации была удалена. В OpenAI заявили, что вместо этого стиль должен адаптироваться к тому, что люди предпочитают в совокупности, в рамках языков и культур, а также для каждого человека, при этом отзывы пользователей и контекст предоставляют доказательства. В документе сохраняются более строгие параметры по умолчанию, такие как объективный подход к вопросам, и говорится, что модель не должна делать вывод о предпочтительной точке зрения просто на основе того, что, по ее мнению, люди хотят услышать.
В небольшом, но красноречивом редактировании в спецификации модель теперь называется «GPT», а не «помощник», что отражает то, насколько широко сейчас используются модели. В тот же день OpenAI отдельно опубликовала сообщение, описывающее, как она обнаруживает несовпадение пограничной модели, подчеркнув, что спецификации поведения и работа по обнаружению продвигаются вместе.
Цель, а не описание
OpenAI внимательно отметила, что спецификация модели описывает поведение, над которым она работает, а не обязательно то поведение, которое ее модели полностью демонстрируют сегодня. Компания назвала обновление первым шагом к тому, чтобы сделать ценности и обоснования спецификации более ясными по мере того, как модели становятся более функциональными, и заявила, что изучает новые методы обучения, чтобы помочь своим моделям усвоить структуру.
Для разработчиков и предприятий, использующих модели OpenAI, практический сигнал ясен: правила, управляющие поведением модели, формализуются вокруг надзора, корректируемости и ограниченной автономии, а эра рассмотрения поведения модели как неформального решения о продукте подходит к концу.
---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
