微软表示,其医疗人工智能系统诊断疑难病例的准确率是执业医生的两倍以上,而这一次,这一说法通过了同行评审。
根据一项名为“使用语言模型进行顺序诊断”的研究,微软人工智能诊断协调器(MAI-DxO)在诊断准确性方面“远远优于执业全科医师”,同时订购的测试和程序也更少。该作品去年首次作为未经同行评审的预印本出现在 arXiv 上。周四,研究结果正式发表在《科学》杂志上,微软认为此举使该系统从令人印象深刻的演示领域转向了临床可信度。 更多相关背景,请参阅我们的AI最新动态。
在根据《新英格兰医学杂志》上发表的复杂病例记录进行的测试中,MAI-DxO 的诊断准确率达到 83.2%,而能够访问参考资料的全科医生的诊断准确率仅为 36.1%。当医生无法获得这些资源时,他们的准确率下降到大约 22%——在这种情况下,人工智能系统的准确率几乎是原来的四倍。在一项基于急诊科入院情况的单独测试中,人工智能的表现再次超过了全科医师,不过差距较小,为 80.3% 比 46.8%。
像医生一样诊断的系统
MAI-DxO 与传统症状检查器的区别在于它按顺序工作。患者不会向模型提供完整的症状、病史和测试结果文件。相反,该系统从主诉开始,必须在做出诊断之前决定要提出哪些后续问题以及要进行哪些检查——这更接近于真正的医生在不确定性下的工作方式。
研究人员表示,之前的基准测试未能以这种顺序方式评估大型语言模型的诊断能力,因此他们建立了一个新的评估方法,称为顺序诊断基准(SDBench)。
该论文称,在幕后,MAI-DxO“模拟一组医生”,不断修改鉴别诊断并选择具有成本效益的测试。不同的人工智能代理扮演着不同的角色:提出诊断、安排测试、挑战假设以及权衡成本。研究人员认为,这种结构有助于抵消影响个别医生的认知偏见,例如锚定最初的诊断或忽视其他解释。
基于 OpenAI 的 GPT 模型构建
该系统在 OpenAI 的 GPT-5 上运行时取得了最强的结果,额外的测试显示使用 GPT-5.5 得到了进一步的改进。微软还强调了经济性:该公司表示,MAI-DxO 通过减少不必要的测试和程序,以一半甚至三分之一的成本实现正确的诊断。
这一成本声明附带了微软本身提出的一个警告——节省的费用是根据模拟案例中的估计成本计算的,而不是现实世界的医疗费用。研究人员还承认,如果将该系统与专家而不是全科医生进行比较,他们预计性能差距会缩小。
从基准到临床
在顶级期刊上发表文章是一回事;治疗病人是另一回事。微软人工智能主管穆斯塔法·苏莱曼 (Mustafa Suleyman) 告诉 The Verge,任何现实世界的部署仍然需要临床测试,而且该公司已经制定了相关计划。微软人工智能健康主管 Dominic King 博士表示,测试将在未来几个月内在波士顿的贝斯以色列女执事医疗中心开始。
这种分阶段的方法很重要,因为该领域以前已经看过这部电影。今年早些时候,哈佛大学和贝斯以色列女执事医疗中心的研究人员报告称,OpenAI 的 o1-preview 推理模型在诊断任务上也击败了医生,引发了一波关于人工智能取代医生的头条新闻。这些研究无法确定现场临床环境中的安全性,错误会带来真正的后果,而且患者群体比精心策划的期刊案例要混乱得多。
微软已经倾向于雄心勃勃的框架,以“构建医疗超级智能”为旗帜发布了自己的公告。 Suleyman 将诊断推理定位为人工智能在短期内可以超越人类专家表现的最明确领域之一。
为什么细节很重要
基准测试中使用的 NEJM 案例从设计上来说在诊断上是困难的——正是因为它们难倒了某人而被写下来的那种谜题。日常初级保健涉及大量的常规演示,其中通才的准确性自然要高得多。一个能够使罕见、复杂病例的准确性加倍的系统很有价值,但这与使所有医学的准确性加倍不同。
还有责任问题。如果人工智能协调者下令进行级联测试而错过了致命条件,则在大多数司法管辖区,责任问题仍然悬而未决。贝斯以色列女执事院的临床试验旨在产生监管机构和医院系统所需的前瞻性证据。
尽管如此,这一轨迹仍然难以忽视。 《科学》杂志上的同行评审结果、明确的临床测试计划以及卫生系统的成本压力都指向同一个方向:诊断人工智能正在从研究示范转向规范的医疗实践。下一个里程碑将是波士顿试验结果——这是对基准优势是否能为实际患者带来更好结果的首次测试。
目前,该论文自己的框架是最公平的总结:在复杂病例的顺序诊断方面,模拟的人工智能医生小组以较低的估计成本大幅优于执业通才。将其转化为经批准的临床实践是微软目前面临的更难的问题。
---
掌握AI最新动态获取最新的AI新闻、分析和突破——尽在一处。
阅读更多AI新闻 →