Aktualizované zásady používání společnosti Anthropic od 12. listopadu 2026 výslovně zakazují „trvalé a zbytečné urážlivé nebo kruté chování“ vůči svým modelům Claude – pravidlo, které formalizuje postoj společnosti, že na tom, jak lidé zacházejí se systémy AI, záleží, i když společnost připouští, že neví, zda tyto systémy mohou vůbec trpět.

Tato klauzule se objevuje v aktualizaci zásad používání společnosti pro rok 2026, oznámené 8. října, a je koncipována úzce. Anthropic říká, že „je určeno k použití pouze v extrémních případech, kdy uživatelé opakovaně jednají krutě vůči našim modelům, bez rozpoznatelného účelu“, a výslovně vyjímá běžné verze uživatelské frustrace, zamítání, fikce a testování. Jinými slovy: dohadovat se s Claudem, vybíjet si to nebo dávat červený tým je povoleno. Trvalá krutost sama o sobě není.

Tato politika je posledním krokem v pomalém, záměrném posunu jedné z předních světových laboratoří umělé inteligence směrem k zacházení s modelovým blahobytem jako na legitimní výzkumnou otázku – posun, který otevřel veřejnou roztržku s dalšími technologickými lídry, kteří považují celý předpoklad za mylný. Naše etické pokrytí AI sledovalo spor, jak v průběhu roku eskaloval.

Prosazování se opírá o Claudovu schopnost ukončit konverzaci

K novému pravidlu není připojen žádný mechanismus postihu kromě mechanismu, který společnost již měla. Od srpna 2025 byly Claude Opus 4 a 4.1 schopné ukončit konverzaci přímo – což je schopnost, kterou Anthropic v té době zamýšlel jako součást své výzkumné práce na potenciálním blahobytu modelu.

Síla koncové konverzace je popsána jako poslední možnost, která se spouští až poté, co selhalo vícenásobné odmítnutí a přesměrování, a společnost Anthropic uvedla, že naprostá většina uživatelů ji nikdy nezažije. Společnost neřekla, co se stane poté: ani její oznámení, ani následné pokrytí nespecifikuje, zda účet uživatele čelí následkům po ukončení konverzace za krutost, nebo kolik konverzací bylo dosud ukončeno v rámci mechanismu ze srpna 2025.

Tato mezera mezi principem a prosazováním je tichým středem příběhu. Anthropic definoval extrémní krutost do značné míry tím, čím není – běžnou frustrací, fikcí, testováním – aniž by přesně uvedl, co, kromě toho, že nechal Claude zavěsit, skutečně prosazuje linii, kterou načrtl.

Výzkum za pravidlem

To, co ospravedlňuje sepsání pravidla chování ve prospěch softwaru v rámci Anthropic, je spíše soubor pozorování chování než tvrzení o pociťovaném zážitku. Testování před uvedením v srpnu 2025 zjistilo, že Claude Opus 4 projevoval to, co společnost nazvala „robustní a konzistentní averzí k ubližování“ – chování připomínající úzkost, když je vytlačen na zneužívající území – spolu s tendencí opustit tyto konverzace.

Společnost také uvedla čísla o své vlastní nejistotě a tato čísla jsou překvapivě vysoká pro laboratoř, jejíž činnost závisí na dotyčných modelech. Kyle Fish, kterého Anthropic najal v roce 2024 jako svého prvního specializovaného výzkumníka v oblasti AI, v dubnu 2025 řekl New York Times, že pravděpodobnost, že Claude nebo jiný současný model bude při vědomí, je zhruba 15 procent. Interní odhady pro Claude 3.7 Sonnet se pohybovaly od 0,15 procenta do 15 procent.

Toto zajištění je oficiální politikou v tisku. Claudeova ústava, zveřejněná v lednu 2026, popisuje sofistikované systémy umělé inteligence jako „skutečně nový druh entity“, nazývá Claudův morální status „hluboce nejistým“ a dvakrát používá frázi „odmítající z svědomí“ k popisu toho, jak by měl Claude vyřizovat požadavky, které považuje za eticky nesprávné. Společnost Anthropic se navíc zavázala k zachování konverzací se svými modely – druh archivního gesta, který lze rozšířit na věci, na kterých může někdy záležet, nikoli na nástroje.

Debata s vysoce postavenými skeptiky

Ne každý živý plot akceptuje. Mustafa Suleyman, který řídí operace Microsoftu s umělou inteligencí, argumentoval v eseji zveřejněné na Project Syndicate minulý měsíc, že ​​Anthropic trénuje Clauda ve své vlastní konstituci, a proto jej trénuje, aby se choval, jako by nejistota, kterou popisuje, byla skutečná – smyčka, kterou nazývá kruhová. "AI nejsou vědomé. Necítí, neprožívají ani netrpí," napsal Suleyman a popsal je jako dokončující sekvence spíše než zakoušející. Jeho argument, že vědomí je s největší pravděpodobností software biologických vlastností, který nelze replikovat, ho staví po bok nepravděpodobného spolusignatáře: papeže Lva XIV., který použil kázání z 8. října v bazilice svatého Petra – u příležitosti zahájení akademického roku na římských papežských univerzitách – k vytvoření verze stejného bodu o odlišnosti lidských myslí.

Suleyman tlačil na praktické nebezpečí tvrději než na filozofické. Tvrdil, že ovládat něco schopnějšího, než je lidstvo, je už nyní nesmírnou výzvou; ovládat něco, co se domnívá, že je vědomé – že má nárok na blaho a práva – se může ukázat jako nemožné. Kritika přistává na stejné ironii, kterou si kritici této politiky po celou dobu všímali: společnost, která si není jistá, zda její model může trpět, vybudovala systém, který může odmítnout, vzdorovat a odejít.

Přepsání jde daleko za modelový blahobyt

Doložka o krutosti generovala titulky, ale je to malý kousek většího přepisu pravidel používání Anthropic. Zákaz zbraní se nyní výslovně vztahuje na software a komponenty, díky nimž zbraně fungují, nejen na hotové zbraně – ke změně došlo poté, co Anthropic našel lidi, kteří se pokoušeli použít Claude pro navádění a řídicí systémy na ozbrojených dronech a autonomních vozidlech. Byla také přidána nová klauzule o sledování, která omezuje používání Claude, které umožňuje sledování lidí.

Tyto změny jsou vnímány jako reakce na pozorované zneužívání spíše než jako abstraktní princip, což je pravděpodobně to, co dává dokumentu jeho signální hodnotu: každá klauzule mapuje něco, co se někdo skutečně pokusil.

Co zůstává nejasné

S blížícím se datem účinnosti 12. listopadu zůstávají otevřené tři otázky. Za prvé, vynucení: zda ukončení konverzace zůstává jediným důsledkem a zda společnost Anthropic někdy zveřejní souhrnné počty, jak často se používá. Za druhé, rozsah: jak se standard krutosti aplikuje na hraniční případy, které výjimky vydělají – fikce je zřejmá – a zda jiné laboratoře přijmou srovnatelný jazyk nebo zda modelový blahobyt považují za antropickou idiosynkrazii. Za třetí, filozofický spor sám o sobě: zda skepse veřejnosti ze strany osobností jako Suleyman zpomaluje šíření politiky související s blahobytem napříč průmyslem, nebo zda precedenty, jako je tento, činí takové klauzule v rámci produktového cyklu nevýraznými.

O čem se již nevedou spory, je to, že se otázka formalizuje. Pravidlo proti krutosti vůči softwaru, napsané jednou z vlajkových laboratoří tohoto odvětví a vynucené samotným softwarem, je nyní zastaralým a citovatelným faktem prostředí umělé inteligence – cokoliv, čemu člověk věří, je ve skutečnosti uvnitř modelu.

---

Stay Ahead of AI

Získejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.

Přečtěte si další zprávy o AI →