Microsoft twierdzi, że jego medyczny system sztucznej inteligencji może diagnozować trudne przypadki ponad dwukrotnie dokładniej niż praktykujący lekarze – i tym razem twierdzenie to przetrwało recenzję.
Jak wynika z badania zatytułowanego „Diagnostyka sekwencyjna z modelami językowymi”, program Microsoft AI Diagnostic Orchestrator (MAI-DxO) „znacznie przewyższył praktykujących lekarzy medycyny ogólnej” pod względem dokładności diagnostycznej przy jednoczesnym zlecaniu mniejszej liczby testów i procedur. Praca po raz pierwszy pojawiła się w serwisie arXiv w zeszłym roku jako nierecenzowany przedruk. W czwartek wyniki zostały oficjalnie opublikowane w czasopiśmie Science, co według Microsoftu przenosi system z imponującego terytorium demonstracyjnego w kierunku wiarygodności klinicznej. Więcej kontekstu na ten temat znajdziesz w naszych trendy AI.
W testach opartych na złożonych opisach przypadków opublikowanych w New England Journal of Medicine, MAI-DxO osiągnęło 83,2% dokładności diagnostycznej w porównaniu z 36,1% w przypadku lekarzy medycyny ogólnej, którzy mieli dostęp do materiałów referencyjnych. Kiedy lekarzom odmówiono tych zasobów, ich dokładność spadła do około 22 procent, co oznacza, że system sztucznej inteligencji jest prawie czterokrotnie dokładniejszy w takich warunkach. W oddzielnym teście opartym na przyjęciach na oddział ratunkowy sztuczna inteligencja ponownie uzyskała lepsze wyniki niż lekarze pierwszego kontaktu, choć o węższy margines wynoszący 80,3% do 46,8%.
System, który diagnozuje tak, jak robią to lekarze
Tym, co odróżnia MAI-DxO od konwencjonalnych urządzeń do sprawdzania objawów, jest to, że działa sekwencyjnie. Pacjenci nie przekazują modelowi pełnej dokumentacji objawów, historii i wyników badań. Zamiast tego system zaczyna od głównej skargi i musi zdecydować, jakie pytania dodatkowe zadać i jakie badania zlecić przed postawieniem diagnozy – co znacznie przypomina pracę prawdziwego lekarza w warunkach niepewności.
Naukowcy twierdzą, że wcześniejsze testy porównawcze nie pozwalały na ocenę zdolności diagnostycznych dużych modeli językowych w sposób sekwencyjny, dlatego stworzyli nową metodę oceny zwaną Sequential Diagnosis Benchmark (SDBench).
Według artykułu MAI-DxO „symuluje panel lekarzy”, stale weryfikując diagnostykę różnicową i wybierając opłacalne testy. Różni agenci sztucznej inteligencji przyjmują różne role: proponują diagnozy, zlecają testy, kwestionują założenia i ważą koszty. Naukowcy sugerują, że taka struktura pomaga przeciwdziałać błędom poznawczym wpływającym na poszczególnych lekarzy, takim jak zakotwiczenie się na wstępnej diagnozie lub przeoczenie alternatywnych wyjaśnień.
Zbudowany na modelach GPT OpenAI
System osiągnął najlepsze wyniki, działając na GPT-5 OpenAI, a dodatkowe testy wykazały dalsze ulepszenia przy użyciu GPT-5.5. Microsoft kładzie także nacisk na ekonomię: według firmy MAI-DxO pozwala na trafną diagnozę za połowę, a nawet jedną trzecią kosztów, zlecając mniej niepotrzebnych badań i procedur.
To zestawienie kosztów zawiera zastrzeżenie, które sam Microsoft zgłasza – oszczędności opierają się na szacunkowych kosztach w symulowanych przypadkach, a nie na rzeczywistych rachunkach za opiekę medyczną. Naukowcy przyznają również, że spodziewaliby się zmniejszenia różnicy w wynikach, gdyby system porównano z ekspertami, a nie lekarzami medycyny ogólnej.
Od wzorca do łóżka
Publikacja w czołowym czasopiśmie to jedno; leczenie pacjentów to co innego. Szef sztucznej inteligencji w Microsoft, Mustafa Suleyman, powiedział The Verge, że każde wdrożenie w świecie rzeczywistym nadal będzie wymagało testów klinicznych, a firma ma już co do tego plany. Kierownik ds. zdrowia sztucznej inteligencji w firmie Microsoft, dr Dominic King, powiedział, że testy rozpoczną się w Beth Israel Deaconess Medical Center w Bostonie w ciągu najbliższych kilku miesięcy.
To inscenizowane podejście ma znaczenie, ponieważ uczestnicy zawodów widzieli już ten film. Na początku tego roku badacze z Uniwersytetu Harvarda i Beth Israel Deaconess Medical Center poinformowali, że model rozumowania OpenAI o1-preview również przewyższa lekarzy w zadaniach diagnostycznych, wywołując falę nagłówków gazet o zastępowaniu lekarzy przez sztuczną inteligencję. W badaniach tych nie udało się ustalić bezpieczeństwa w rzeczywistych warunkach klinicznych, gdzie błędy niosą ze sobą realne konsekwencje, a populacja pacjentów jest znacznie bardziej zaniepokojona niż artykuły publikowane w czasopismach kuratorskich.
Microsoft pochylił się nad ambitnymi ramami, publikując własne oświadczenie pod hasłem „budowania superinteligencji medycznej”. Suleyman uznał rozumowanie diagnostyczne za jedną z najwyraźniejszych dziedzin, w których sztuczna inteligencja może w najbliższej przyszłości przewyższyć wyniki ekspertów.
Dlaczego szczegóły mają znaczenie
Przypadki NEJM użyte w benchmarku są z założenia trudne diagnostycznie — to rodzaj zagadek, które powstają właśnie dlatego, że kogoś zaskoczyły. Codzienna opieka podstawowa obejmuje ogromną liczbę rutynowych wizyt, w przypadku których ogólna dokładność jest oczywiście znacznie większa. System podwajający dokładność w rzadkich, złożonych przypadkach jest cenny, ale to nie to samo, co podwajanie dokładności w całej medycynie.
Jest też kwestia odpowiedzialności. Jeśli koordynator sztucznej inteligencji zleci kaskadę testów, w której nie wystąpi stan krytyczny, w większości jurysdykcji kwestie odpowiedzialności pozostają nierozwiązane. Badania kliniczne w Beth Israel Deaconess mają na celu wygenerowanie dokładnie takiego rodzaju przyszłych dowodów, jakich będą potrzebować organy regulacyjne i systemy szpitalne.
Mimo wszystko trajektorię tę trudno zignorować. Recenzowane wyniki w czasopiśmie Science, zdefiniowany plan badań klinicznych i presja kosztowa na systemy opieki zdrowotnej wskazują ten sam kierunek: diagnostyczna sztuczna inteligencja przechodzi od demonstracji badawczych w stronę regulowanej praktyki medycznej. Kolejnym kamieniem milowym będą wyniki badania bostońskiego – pierwszy test sprawdzający, czy dominacja punktów odniesienia przekłada się na lepsze wyniki dla rzeczywistych pacjentów.
Na razie najbardziej sprawiedliwym podsumowaniem jest sformułowanie zawarte w artykule: w przypadku sekwencyjnej diagnostyki złożonych przypadków symulowany panel lekarzy zajmujących się sztuczną inteligencją znacznie przewyższał praktykujących lekarzy ogólnych, przy niższych szacunkowych kosztach. Przekształcenie tego w zatwierdzoną praktykę kliniczną jest trudniejszym problemem, na który zdecydował się Microsoft.
---
Bądź na Bieżąco z AINajnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.
Czytaj więcej wiadomości AI →
