Microsoft zegt dat zijn medische AI-systeem moeilijke gevallen meer dan twee keer zo nauwkeurig kan diagnosticeren als praktiserende artsen – en deze keer heeft de claim de peer review overleefd.
De Microsoft AI Diagnostic Orchestrator (MAI-DxO) "presteerde aanzienlijk beter dan praktiserende generalistische artsen" op het gebied van diagnostische nauwkeurigheid, terwijl hij minder tests en procedures bestelde, volgens een onderzoek met de titel "Sequentiële diagnose met taalmodellen." Het werk verscheen vorig jaar voor het eerst op arXiv als een niet-peer-reviewed preprint. Donderdag werden de bevindingen formeel gepubliceerd in het tijdschrift Science, een stap die volgens Microsoft het systeem van indrukwekkend demogebied naar klinische geloofwaardigheid brengt. Voor meer context over dit verhaal, zie ons AI-nieuws.
In tests die zijn opgebouwd uit complexe dossiers gepubliceerd in de New England Journal of Medicine, behaalde MAI-DxO een diagnostische nauwkeurigheid van 83,2 procent, vergeleken met 36,1 procent voor generalistische artsen die toegang hadden tot referentiemateriaal. Toen artsen deze middelen werden ontzegd, daalde hun nauwkeurigheid tot ongeveer 22 procent, waardoor het AI-systeem onder die omstandigheden bijna vier keer zo nauwkeurig was. In een afzonderlijke test op basis van opnames op de spoedeisende hulp presteerde de AI opnieuw beter dan generalistische artsen, zij het met een kleinere marge van 80,3 procent tot 46,8 procent.
Een systeem dat diagnoses stelt zoals artsen dat doen
Wat MAI-DxO onderscheidt van conventionele symptoomcheckers is dat het sequentieel werkt. Patiënten overhandigen het model geen volledig dossier met symptomen, geschiedenis en testresultaten. In plaats daarvan begint het systeem met een hoofdklacht en moet het beslissen welke vervolgvragen het moet stellen en welke tests het moet bestellen voordat het een diagnose stelt – veel dichter bij hoe een echte arts te werk gaat onder onzekerheid.
De onderzoekers zeggen dat eerdere benchmarks er niet in slaagden de diagnostische capaciteiten van grote taalmodellen op deze sequentiële manier te evalueren, dus bouwden ze een nieuwe evaluatie genaamd de Sequential Diagnosis Benchmark, of SDBench.
Onder de motorkap simuleert MAI-DxO "een panel van artsen", aldus de krant, waarbij voortdurend een differentiële diagnose wordt herzien en kosteneffectieve tests worden geselecteerd. Verschillende AI-agenten vervullen verschillende rollen: het voorstellen van diagnoses, het bestellen van tests, het uitdagen van aannames en het afwegen van de kosten. De onderzoekers suggereren dat deze structuur cognitieve vooroordelen helpt tegengaan die individuele artsen beïnvloeden, zoals het verankeren op een initiële diagnose of het over het hoofd zien van alternatieve verklaringen.
Gebouwd op de GPT-modellen van OpenAI
Het systeem behaalde de sterkste resultaten op OpenAI's GPT-5, waarbij aanvullende tests verdere verbeteringen lieten zien met behulp van GPT-5.5. Microsoft legt ook de nadruk op de economie: het bedrijf zegt dat MAI-DxO de juiste diagnose bereikt tegen de helft of zelfs een derde van de kosten door minder onnodige tests en procedures te bestellen.
Die kostenclaim gaat gepaard met een voorbehoud dat Microsoft zelf markeert: de besparingen zijn gemodelleerd op basis van geschatte kosten in gesimuleerde gevallen, en niet op medische rekeningen uit de echte wereld. De onderzoekers erkennen ook dat ze zouden verwachten dat de prestatiekloof kleiner zou worden als het systeem zou worden vergeleken met deskundige specialisten in plaats van met generalistische artsen.
Van benchmark tot bedside
Publiceren in een toptijdschrift is één ding; het behandelen van patiënten is een ander verhaal. Microsoft's AI-chef Mustafa Suleyman vertelde The Verge dat elke implementatie in de echte wereld nog steeds klinische tests zou vereisen – en het bedrijf heeft er al plannen voor. De AI-gezondheidsleider van Microsoft, Dr. Dominic King, zei dat het testen binnen de komende maanden zal beginnen in het Beth Israel Deaconess Medical Center in Boston.
Die geënsceneerde aanpak is belangrijk, omdat het veld deze film al eerder heeft gezien. Eerder dit jaar meldden onderzoekers van de Harvard University en het Beth Israel Deaconess Medical Center dat OpenAI's o1-preview redeneermodel ook artsen versloeg bij diagnostische taken, wat een golf van krantenkoppen voedde over AI die artsen vervangt. Wat deze onderzoeken niet konden vaststellen, was de veiligheid in een klinische omgeving, waar fouten reële gevolgen hebben en de patiëntenpopulatie veel rommeliger is dan de gecureerde tijdschriftgevallen.
Microsoft heeft een ambitieus kader gehanteerd en zijn eigen aankondiging gepubliceerd onder de vlag van 'het opbouwen van medische superintelligentie'. Suleyman heeft diagnostisch redeneren gepositioneerd als een van de duidelijkste domeinen waar AI op korte termijn de prestaties van menselijke experts kan overtreffen.
Waarom de details ertoe doen
De NEJM-casussen die in de benchmark worden gebruikt, zijn per definitie diagnostisch moeilijk: het soort puzzels dat juist wordt opgeschreven omdat ze iemand voor de gek hielden. De dagelijkse eerstelijnszorg omvat enorme hoeveelheden routinematige presentaties waarbij de generalistische nauwkeurigheid uiteraard veel hoger is. Een systeem dat de nauwkeurigheid van zeldzame, complexe gevallen verdubbelt is waardevol, maar het is niet hetzelfde als het verdubbelen van de nauwkeurigheid in de hele geneeskunde.
Er is ook de kwestie van de verantwoordelijkheid. Als een AI-orkestrator opdracht geeft tot een testcascade waarbij een fatale voorwaarde wordt gemist, blijven aansprakelijkheidsvragen in de meeste rechtsgebieden onopgelost. Klinische onderzoeken bij Beth Israel Deaconess zijn bedoeld om precies het soort prospectief bewijs te genereren dat toezichthouders en ziekenhuissystemen nodig hebben.
Toch is het traject moeilijk te negeren. Een peer-reviewed resultaat in Science, een gedefinieerd klinisch testplan en de druk op de kosten op gezondheidszorgsystemen wijzen allemaal in dezelfde richting: diagnostische AI beweegt zich van onderzoeksdemonstraties naar gereguleerde medische praktijken. De volgende mijlpaal zullen de resultaten van de Boston-studie zijn – de eerste test of benchmark-dominantie zich vertaalt in betere resultaten voor daadwerkelijke patiënten.
Voorlopig is de eigen formulering van het artikel de eerlijkste samenvatting: wat betreft de sequentiële diagnose van complexe gevallen presteerde een gesimuleerd panel van AI-artsen ruimschoots beter dan praktiserende generalisten, tegen lagere geschatte kosten. Dat omzetten in goedgekeurde klinische praktijk is het moeilijkere probleem waarvoor Microsoft zich nu heeft aangemeld.
---
Blijf Voorop met AIHet laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.
Lees meer AI-nieuws →
