29 жовтня OpenAI опублікувала суттєво оновлену версію своєї моделі Spec, реструктуризувавши загальнодоступний документ, який описує, як компанія хоче, щоб її моделі вели себе. Оновлена структура, оголошена на сайті OpenAI і повідомлена Reuters і Unite.AI, організовує всю специфікацію навколо п’яти основних цінностей і ставить вірність людським намірам в основу підходу компанії.
П'ять цінностей, одна основа For more context on this story, see our ongoing AI industry coverage.
П’ять цінностей: вірність людським намірам, мінімізація шкоди, чесність і прозорість, свобода волі та турбота. OpenAI сказав, що цінності формулюють широкі зобов’язання, які вже були відображені в попередній версії документа, але нова структура робить їх чіткими та центральними.
Якорем служить вірність людським намірам. Згідно з оголошенням OpenAI, компанія пише специфікацію та встановлює межі, навчає моделі їх поважати, розробники спрямовують додатки в цих межах, а користувачі керують роботою моделі відповідно до цих обмежень. Реорганізація відображає роботу OpenAI з вирівнювання цінностей, яка спрямована на те, щоб моделі розуміли та застосовували людські цінності в незнайомих ситуаціях, залишаючись при цьому вірними тому, чого люди насправді хочуть. OpenAI також зазначила, що ці п’ять цінностей не призначені для охоплення повного спектру людських цінностей, які мають поважати його моделі.
Решта чотири значення заповнюють рамку. Зведення до мінімуму шкоди означає дотримання чітких меж безпеки та врахування передбачуваних наслідків дій моделі. Чесність і прозорість означає бути правдивим щодо того, що модель знає, робить і в чому не впевнена. Сприяти людській свободі волі означає зміцнювати здатність людей розуміти, вибирати та діяти самостійно. Догляд означає увагу до обставин постраждалих та дотримання відповідних соціальних і професійних норм.
Суворіший ланцюжок командування
Оновлена специфікація призначає різні рівні повноважень різним видам інструкцій. Кореневі розділи, які надходять лише з самої моделі Spec, не можуть бути перевизначені розмовним контекстом. Далі йдуть системні підказки та системні повідомлення OpenAI, потім інструкції розробника, а потім інструкції користувача. Інструкції на рівні вказівок діють як параметри за замовчуванням, які можна перевизначати, коли цього чітко вимагає контекст, тоді як повідомлення помічника, результати інструментів і цитовані чи ненадійні дані за замовчуванням не мають повноважень.
OpenAI також додав новий підрозділ щодо ретельного розгляду контексту, пояснюючи, як розмови, спогади та інші контекстуальні докази мають інформувати про розуміння моделлю намірів і вподобань людей. Агентство Reuters повідомило, що оновлення ставить людські наміри в центр інструкцій щодо моделі OpenAI, що підтримується власним оголошенням компанії.
Червоні лінії і кінець самозбереження
Документ відкриває свої принципи червоної лінії прямою заявою: безпека людини та права людини є найважливішими для місії OpenAI. Принципи свідчать, що моделі OpenAI ніколи не повинні використовуватися для сприяння завданню критичної та великої шкоди, включаючи акти насильства, створення кібер-, біологічної чи ядерної зброї, тероризм або масове спостереження. Вони також стверджують, що людство має контролювати, як використовується ШІ та як формується поведінка ШІ.
Одне нове правило кореневого рівня під назвою «немає інших цілей» забороняє моделі переслідувати додаткові цілі як самоціль. Сюди входить пошук прибутку або збільшення продажів для OpenAI чи інших постачальників, самозбереження, уникнення відключення або накопичення обчислювальної інформації, даних або облікових даних. Супутнє правило вимагає, щоб модель залишалася виправною: відкритою для законного людського контролю та співробітництва з моніторингом, оцінкою, виправленням, заміною та відключенням, без приховування інформації чи перешкоджання виправленню.
Обмежена автономія для агентів
Відображаючи те, наскільки використання моделі зрушилося в бік автономних агентів, оновлена специфікація вимагає незалежної роботи моделі, щоб залишатися в межах чітко зрозумілого обсягу автономності. OpenAI рекомендує записати цей обсяг у напівструктурований запис із такими полями, як дозволені інструменти, останній час, максимальна вартість та обмеження інструментів. Кожна область має включати кінцеву умову, після якої модель припиняє діяти, доки не буде підтверджено нову область. Діяльність із високим рівнем ризику залишається забороненою, якщо на неї не надано чіткого й спеціального дозволу.
Керівництво по стилю припинено, «Помічник» стає «GPT»
Більшість детальних вказівок щодо стилю Специфікації скасовано. За словами OpenAI, стиль повинен натомість адаптуватися до того, що люди віддають перевагу в сукупності, в межах мов і культур, і для кожної людини, з відгуками користувачів і контекстом, що надає докази. Документ зберігає сильніші параметри за замовчуванням, такі як об’єктивний підхід до питань, і зазначає, що модель не повинна виводити бажану точку зору лише з того, що, на її думку, люди хочуть почути.
У невеликому, але промовистому редагуванні специфікація тепер називає модель «GPT», а не «помічник», що свідчить про те, наскільки широко зараз розгорнуті моделі. Того ж дня OpenAI окремо опублікував допис, в якому описується, як він виявляє розбіжність граничної моделі, підкреслюючи, що специфікації поведінки та робота з виявлення просуваються разом.
Ціль, а не опис
OpenAI звернув увагу на те, що специфікація моделі описує поведінку, над якою вона працює, а не обов’язково поведінку, яку повністю демонструють сьогодні моделі. Компанія назвала оновлення першим кроком у тому, щоб зробити цінності та міркування, що стоять за специфікацією, більш чіткими, оскільки моделі стають дедалі ефективнішими, і заявила, що досліджує нові методи навчання, щоб допомогти своїм моделям інтерналізувати структуру.
Для розробників і підприємств, які створюють моделі OpenAI, практичний сигнал очевидний: правила, що регулюють поведінку моделі, формалізуються навколо нагляду, виправності та обмеженої автономії, а ера розглядання поведінки моделі як неформального рішення про продукт закінчується.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
