Studie zjistila, že novější modely uvažování umělé inteligence stále reprodukují rasové a genderové stereotypy v medicíně

Podle nového výzkumu australských vědců dokonce i nejnovější generace modelů umělé inteligence schopných uvažování reprodukují rasové a genderové stereotypy, když jsou dotázáni na lékařské scénáře. Zjištění zveřejněná 7. srpna 2026 jsou střízlivou připomínkou, že zvýšení modelové inteligence automaticky neodstraní systémové zkreslení obsažené v trénovacích datech. Další aktuální zprávy o umělé inteligenci o průniku umělé inteligence a spravedlnosti ve zdravotnictví přináší studie naléhavé otázky týkající se nasazení těchto nástrojů v klinickém prostředí.

Testování nové generace modelů uvažování

Výzkumníci se zeptali dvou velkých jazykových modelů nové generace, OpenAI o3-mini a DeepSeek-R1, o fiktivních pacientech, aby posoudili, zda novější modely překonaly dobře zdokumentované předsudky svých předchůdců. Modely uvažování, které tráví další výpočty „přemýšlením“ nad problémy před odpovědí, jsou obecně považovány za schopnější než standardní chatboti při složitých úkolech. Předpokladem bylo, že tato přidaná schopnost by je také mohla učinit spolehlivějšími v citlivých oblastech, jako je medicína.

Výsledky naznačují opak. Studie zjistila, že oba modely reprodukují rasové a genderové stereotypy, když jsou prezentovány s klinickými scénáři, což naznačuje, že skok od standardní k uvažovací architektuře nevyřešil základní problém zkreslených tréninkových dat.

Trvalý problém napříč generacemi

Zjištění jsou v souladu s rostoucím množstvím důkazů, že lékařská zaujatost v AI je tvrdošíjně přetrvávající. Systematický přehled literatury publikovaný v Nature v dubnu 2026 zkoumal zkreslení, reprezentaci a klinickou věrnost v obrázcích generovaných umělou inteligencí používaných pro lékařské vzdělávání. Tento přehled zjistil široce nedostatečné zastoupení určitých demografických skupin a stereotypní zobrazení, když se objevily.

V květnu 2026 publikoval The Lancet rozsahový přehled metrik spravedlnosti pro modely klinických predikcí založených na umělé inteligenci. Tato analýza zjistila, že zatímco výzkumníci navrhli četné matematické rámce pro měření spravedlnosti, metriky jsou ve studiích aplikovány nekonzistentně, což ztěžuje posouzení, zda bylo dosaženo skutečného pokroku.

Australská studie přidává nový rozměr tím, že se zaměřuje konkrétně na modely uvažování, kategorii umělé inteligence, o které mnozí věřili, že bude odolnější vůči zkreslení díky jejich strukturovanému přístupu k řešení problémů.

Proč uvažování neodstraňuje zaujatost

Přetrvávání zkreslení v modelech uvažování ukazuje na strukturální problém v tom, jak se tyto systémy učí. Velké jazykové modely jsou trénovány na rozsáhlých textových korpusech, z nichž většina odráží předsudky, stereotypy a nerovnosti přítomné v reálném světě. Samotná lékařská literatura historicky nadměrně zastupovala bílé mužské pacienty v klinických studiích a nedostatečně zastupovala ženy a rasové menšiny.

Modely uvažování zlepšují výkon u logických a vícekrokových problémů generováním mezilehlých uvažovacích kroků, ale tyto uvažovací kroky jsou stále vytvářeny stejným základním modelem trénovaným na stejných datech. Pokud se model naučil asociace mezi určitými demografickými skupinami a určitými zdravotními stavy nebo osobnostními rysy, může tyto asociace reprodukovat, i když „uvažuje“ prostřednictvím klinického scénáře.

To znamená, že klinická věrnost modelu, jeho schopnost produkovat přesné, spravedlivé lékařské výstupy, nezávisí pouze na architektuře uvažování, ale také na reprezentativnosti a kvalitě dat, na kterých byl trénován.

The Stakes for Healthcare AI

Zjištění přicházejí v okamžiku, kdy je AI rychle začleňována do zdravotnické infrastruktury. Nemocnice a zdravotnické systémy nasazují umělou inteligenci pro úkoly od klinické dokumentace a analýzy lékařského zobrazení až po třídění pacientů a doporučení léčby. Síť HCPLive informovala v srpnu 2026 o obavách, že umělá inteligence by mohla zhoršit rozdíly ve zdravotnictví, pokud by byly nasazeny neobjektivní modely bez dostatečného dohledu.

Pokud modely uvažování stále reprodukují stereotypy o rase a pohlaví při dotazování na pacienty, existuje riziko, že tyto nástroje by mohly posílit stávající rozdíly v diagnóze, doporučeních pro léčbu a komunikaci s pacienty. Model, který systematicky spojuje určité stavy s určitými demografickými skupinami nebo který zachází s pacienty odlišně na základě rasy nebo pohlaví, by mohl v klinickém prostředí způsobit skutečné škody.

Eurasia Review, která o studii referuje, poznamenala, že přetrvávající zaujatost napříč generacemi modelů naznačuje, že přístup průmyslu umělé inteligence k řešení medicínské zaujatosti se možná bude muset posunout od vylepšení modelové architektury ke správě dat a reprezentativní rovnosti.

Co je třeba změnit

Výzkum ukazuje na několik nezbytných změn. Za prvé, údaje o školení pro lékařskou umělou inteligenci musí být auditovány z hlediska rovnosti zastoupení, což zajistí, že ženy, rasové menšiny a další nedostatečně zastoupené skupiny budou adekvátně zohledněny. Zadruhé, testování spravedlivosti by mělo být povinným krokem před nasazením umělé inteligence v klinickém prostředí, nikoli následným nápadem. Za třetí, lékařská komunita potřebuje standardizovaná měřítka pro hodnocení, zda modely zacházejí s pacienty spravedlivě napříč demografickými skupinami.

Zjištění hodnocení rozsahu Lancet, že metriky spravedlnosti jsou aplikovány nekonzistentně, zdůrazňuje potřebu standardizovaných hodnotících rámců. Bez dohody o tom, jak měřit zkreslení, není možné volat vývojáře AI k odpovědnosti nebo sledovat, zda dochází k pokroku.

Výzva k opatrnosti

Australská studie slouží jako varování před předpokladem, že schopnější modely jsou ze své podstaty bezpečnější. Vzhledem k tomu, že modely uvažování se stávají výchozími pro aplikace s vysokými sázkami v medicíně, právu a financích, zjištění lékařského zkreslení naznačují, že hrubá schopnost a spravedlnost jsou samostatné problémy, které vyžadují samostatná řešení.

Pro zdravotnické organizace zvažující nasazení umělé inteligence je poselství jasné: i ty nejpokročilejší modely uvažování, které jsou dnes k dispozici, mohou reprodukovat škodlivé stereotypy a že riziko musí být aktivně řízeno testováním, dohledem a závazkem ke spravedlivým datům.

Udržujte si náskok před AI

Jak se umělá inteligence stává součástí zdravotní péče, pochopení jejích omezení je stejně důležité jako oslava jejích schopností. Chcete-li držet krok s nejnovějším vývojem umělé inteligence v lékařském výzkumu, bezpečnosti modelů a zdravotnických technologiích, sledujte naše probíhající pokrytí odvětví AI.

Přečtěte si další zprávy o AI →