Microsoft říká, že jeho lékařský systém umělé inteligence dokáže diagnostikovat obtížné případy více než dvakrát přesněji než praktičtí lékaři – a tentokrát toto tvrzení přežilo peer review.
Microsoft AI Diagnostic Orchestrator (MAI-DxO) „podstatně překonal praktické praktické lékaře“ v diagnostické přesnosti a zároveň objednával méně testů a procedur, podle studie nazvané „Sekvenční diagnostika s jazykovými modely“. Dílo se poprvé objevilo na arXiv loni jako nerecenzovaný předtisk. Ve čtvrtek byla zjištění formálně zveřejněna v časopise Science, což je krok, který Microsoft tvrdí, že posune systém z působivé demo oblasti směrem ke klinické důvěryhodnosti. For more context on this story, see our ongoing AI news.
V testech sestavených ze složitých záznamů případů publikovaných v New England Journal of Medicine dosáhl MAI-DxO 83,2 procent diagnostické přesnosti ve srovnání s 36,1 procenty u praktických lékařů, kteří měli přístup k referenčním materiálům. Když lékařům tyto zdroje odepřeli, jejich přesnost klesla na zhruba 22 procent, což znamená, že systém umělé inteligence je za těchto podmínek téměř čtyřikrát přesnější. V samostatném testu založeném na příjmu na pohotovosti AI opět překonala praktické lékaře, i když s užším rozdílem 80,3 procenta na 46,8 procenta.
Systém, který diagnostikuje tak, jak to dělají lékaři
To, co odlišuje MAI-DxO od konvenčních kontrolorů symptomů, je to, že funguje sekvenčně. Pacienti nedávají modelu úplný soubor symptomů, historie a výsledků testů. Místo toho systém začíná hlavní stížností a musí se rozhodnout, jaké následné otázky položit a které testy objednat, než se zaváže k diagnóze – mnohem blíže tomu, jak skutečný lékař pracuje v nejistotě.
Výzkumníci tvrdí, že předchozí benchmarky nedokázaly vyhodnotit diagnostické schopnosti velkých jazykových modelů tímto sekvenčním způsobem, takže vytvořili nové hodnocení nazvané Sequential Diagnosis Benchmark nebo SDBench.
MAI-DxO pod kapotou „simuluje panel lékařů“ podle článku, přičemž neustále reviduje diferenciální diagnostiku a vybírá nákladově efektivní testy. Různí agenti umělé inteligence přebírají odlišné role: navrhují diagnózy, objednávají testy, zpochybňují předpoklady a zvažují náklady. Výzkumníci naznačují, že tato struktura pomáhá čelit kognitivním předsudkům, které ovlivňují jednotlivé lékaře, jako je ukotvení na počáteční diagnóze nebo přehlížení alternativních vysvětlení.
Postaveno na modelech GPT OpenAI
Systém dosáhl svých nejsilnějších výsledků při běhu na OpenAI GPT-5, přičemž další testování ukázalo další vylepšení pomocí GPT-5.5. Microsoft také klade důraz na ekonomiku: společnost tvrdí, že MAI-DxO dosáhne správné diagnózy za poloviční nebo dokonce třetinovou cenu tím, že objedná méně zbytečných testů a postupů.
Toto tvrzení o nákladech přichází s upozorněním, které sám Microsoft označuje – úspory jsou modelovány na základě odhadovaných nákladů v simulovaných případech, nikoli na skutečných účtech za lékařskou péči. Výzkumníci také uznávají, že by očekávali, že se rozdíl ve výkonu zmenší, pokud by byl systém srovnáván s odborníky spíše než s praktickými lékaři.
Od Benchmarku k Bedside
Publikování ve špičkovém časopise je jedna věc; léčba pacientů je něco jiného. Šéf AI společnosti Microsoft Mustafa Suleyman řekl The Verge, že jakékoli nasazení v reálném světě bude stále vyžadovat klinické testování – a společnost na to již má plány. Vedoucí lékař společnosti Microsoft v oblasti AI, Dr. Dominic King, řekl, že testování začne v Beth Israel Deaconess Medical Center v Bostonu během několika příštích měsíců.
Na tomto inscenovaném přístupu záleží, protože pole tento film už vidělo. Začátkem tohoto roku vědci z Harvardské univerzity a Beth Israel Deaconess Medical Center uvedli, že model uvažování OpenAI s náhledem o1 také porazil lékaře v diagnostických úkolech, čímž vyvolal vlnu titulků o tom, že umělá inteligence nahrazuje lékaře. Co tyto studie nedokázaly prokázat, byla bezpečnost v živých klinických podmínkách, kde chyby nesou skutečné důsledky a populace pacientů je mnohem komplikovanější než případy z kurátorských časopisů.
Microsoft se opřel do ambiciózního rámování a zveřejnil své vlastní oznámení pod hlavičkou „budování lékařské superinteligence“. Suleyman umístil diagnostické uvažování jako jednu z nejjasnějších oblastí, kde může umělá inteligence v blízké budoucnosti překonat lidský expertní výkon.
Proč na detailech záleží
Případy NEJM použité v benchmarku jsou ze své podstaty diagnosticky obtížné – jde o typ hádanek, které se píší právě proto, že někoho ohromily. Každodenní primární péče zahrnuje obrovské množství rutinních prezentací, kde je obecná přesnost přirozeně mnohem vyšší. Systém, který zdvojnásobuje přesnost u vzácných, složitých případů, je cenný, ale není to stejné jako zdvojnásobení přesnosti v celé medicíně.
Je tu také otázka odpovědnosti. Pokud orchestrátor AI nařídí testovací kaskádu, která postrádá smrtelnou podmínku, zůstávají otázky odpovědnosti ve většině jurisdikcí nevyřešené. Účelem klinických zkoušek v Beth Israel Deaconess je vytvořit přesně ten druh potenciálních důkazů, které by regulační orgány a nemocniční systémy potřebovaly.
Přesto je těžké ignorovat trajektorii. Ověřený výsledek ve vědě, definovaný plán klinického testování a tlak na náklady na zdravotnické systémy ukazují stejný směr: diagnostická umělá inteligence se posouvá od demonstrací výzkumu k regulované lékařské praxi. Dalším milníkem budou výsledky bostonských studií – první test toho, zda se benchmarková dominance promítne do lepších výsledků pro skutečné pacienty.
V současnosti je nejčestnějším shrnutím vlastní rámec článku: v sekvenční diagnostice složitých případů simulovaný panel lékařů s umělou inteligencí výrazně překonal praktikující všeobecné lékaře s nižšími odhadovanými náklady. Převést to na schválenou klinickou praxi je tím těžším problémem, na který se nyní Microsoft zavázal.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
