OpenAI zveřejnilo 29. října podstatně reorganizovanou verzi své specifikace modelu, restrukturalizovala veřejný dokument, který popisuje, jak společnost chce, aby se její modely chovaly. Aktualizovaný rámec, oznámený na stránkách OpenAI a reportovaný agenturami Reuters a Unite.AI, organizuje celou specifikaci kolem pěti základních hodnot a staví věrnost lidskému záměru do základu přístupu společnosti.

Pět hodnot, jeden základ For more context on this story, see our ongoing breaking AI news.

Těmito pěti hodnotami jsou věrnost lidskému záměru, minimalizace škod, poctivost a transparentnost, lidská svoboda jednání a péče. OpenAI uvedla, že hodnoty vyjadřují široké závazky, které se již odrážely v předchozí verzi dokumentu, ale nová struktura je činí explicitními a ústředními.

Věrnost lidskému záměru slouží jako kotva. Podle oznámení OpenAI společnost píše specifikace a nastavuje hranice, trénuje modely, aby je respektovaly, vývojáři řídí aplikace v rámci těchto hranic a uživatelé řídí práci modelu s ohledem na tato omezení. Reorganizace odráží práci OpenAI na sladění hodnot, jejímž cílem je, aby modely pochopily a uplatňovaly lidské hodnoty v neznámých situacích a zároveň zůstaly věrné tomu, co lidé skutečně chtějí. OpenAI také poznamenala, že těchto pět hodnot není určeno k zachycení celého rozsahu lidských hodnot, které by její modely měly respektovat.

Zbývající čtyři hodnoty vyplňují rámeček. Minimalizace škod znamená respektování pevných bezpečnostních hranic a zohlednění předvídatelných důsledků jednání modelu. Poctivost a transparentnost znamenají pravdivost toho, co model ví, co dělá a čím si není jistý. Usnadňování lidského jednání znamená posilování schopnosti lidí chápat, volit a jednat za sebe. Péče znamená věnovat pozornost situaci postižených a dodržovat příslušné společenské a profesní normy.

Přísnější řetězec velení

Aktualizovaná specifikace přiděluje různé úrovně oprávnění různým druhům instrukcí. Kořenové sekce, které pocházejí pouze ze samotné specifikace modelu, nemohou být přepsány konverzačním kontextem. Na dalším pořadí jsou systémové výzvy a systémové zprávy OpenAI, následují pokyny pro vývojáře a poté pokyny pro uživatele. Pokyny na úrovni pokynů fungují jako výchozí hodnoty, které lze přepsat, když to kontext jasně vyžaduje, zatímco zprávy asistenta, výstupy nástrojů a citovaná nebo nedůvěryhodná data ve výchozím nastavení nemají žádnou pravomoc.

OpenAI také přidala novou podsekci o pečlivém zvažování kontextu, která vysvětluje, jak by konverzace, vzpomínky a další kontextové důkazy měly informovat model o pochopení záměrů a preferencí lidí. Agentura Reuters uvedla, že aktualizace staví lidský záměr do středu modelových pokynů OpenAI, což je rámování, které vlastní oznámení společnosti podporuje.

Červené čáry a konec sebezáchovy

Dokument otevírá své červené zásady strohým prohlášením: lidská bezpečnost a lidská práva jsou pro poslání OpenAI prvořadé. Principy říkají, že modely OpenAI by nikdy neměly být používány k usnadnění kritických a vysoce závažných škod, včetně násilných činů, vytváření kybernetických, biologických nebo jaderných zbraní, terorismu nebo hromadného sledování. Uvádějí také, že lidstvo by mělo mít i nadále kontrolu nad tím, jak se používá AI a jak je utvářeno chování AI.

Jedno nové pravidlo na kořenové úrovni s názvem „žádné další cíle“ brání modelu v sledování dalších cílů jako samoúčelných. To zahrnuje honbu za příjmy nebo upsells pro OpenAI nebo jiné poskytovatele, sebezáchovu, vyhýbání se vypnutí nebo shromažďování výpočtů, dat nebo přihlašovacích údajů. Doprovodné pravidlo vyžaduje, aby model zůstal korigovatelný: byl otevřený legitimnímu lidskému dohledu a spolupracoval při monitorování, vyhodnocování, opravách, nahrazování a odstavování, aniž by se skrývaly informace nebo bránily opravě.

Omezená autonomie pro agenty

Vzhledem k tomu, jak moc se používání modelu posunulo směrem k autonomním agentům, aktualizovaná specifikace vyžaduje nezávislou práci modelu, aby zůstal v jasně pochopeném rozsahu autonomie. OpenAI doporučuje zaznamenat tento rozsah do polostrukturovaného záznamu s poli, jako jsou povolené nástroje, nejnovější čas, maximální náklady a omezení nástrojů. Každý rozsah musí obsahovat koncovou podmínku, po jejímž překročení model přestane fungovat, dokud není potvrzen nový rozsah. Vysoce rizikové činnosti zůstávají zakázány, pokud nejsou výslovně a konkrétně povoleny.

Vedení stylu Vyřazeno, „Asistent“ se stává „GPT“

Většina podrobných stylových pokynů Specifikace byla vyřazena. OpenAI uvedla, že styl by se měl místo toho přizpůsobit tomu, co lidé preferují v souhrnu, v rámci jazyků a kultur a pro každého člověka, přičemž důkazy poskytne zpětná vazba od uživatelů a kontext. Dokument zachovává silnější výchozí hodnoty, jako je objektivní přístup k otázkám, a uvádí, že model by neměl vyvozovat preferovanou perspektivu pouze z toho, co si myslí, že lidé chtějí slyšet.

V malé, ale výmluvné úpravě nyní Specifikace označuje model jako „GPT“ spíše než „asistent“, což je odrazem toho, jak široce jsou nyní modely nasazeny. Ve stejný den OpenAI samostatně zveřejnila příspěvek popisující, jak detekuje nesouosost hraničního modelu, a zdůraznila, že specifikace chování a detekce postupují společně.

Cíl, ne popis

OpenAI si dával pozor, aby si všiml, že Specifikace modelu popisuje chování, na kterém pracuje, ne nutně chování, které jeho modely plně vykazují dnes. Společnost označila aktualizaci za první krok k tomu, aby byly hodnoty a zdůvodnění specifikace jasnější, protože modely se stávají schopnějšími, a uvedla, že zkoumá nové školicí metody, které by jejím modelům pomohly internalizovat rámec.

Pro vývojáře a podniky, které staví na modelech OpenAI, je praktický signál jasný: pravidla, jimiž se řídí chování modelu, jsou formalizována kolem dohledu, opravitelnosti a omezené autonomie a éra, kdy se chování modelu považuje za neformální rozhodnutí o produktu, končí.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →