微软 MAI-DxO 诊断编排系统论文登上 Science
微软 AI 10 月 22 日宣布,其序贯诊断基准 SDBench 和诊断编排系统 MAI-DxO 的研究发表在 Science 上。SDBench 用 304 个 NEJM 疑难病例和 MIMIC-IV-ED 急诊病例,让模型或医生从有限信息出发,自己决定下一步问什么、做什么检查;MAI-DxO 模拟一组虚拟医生多轮辩论,并权衡每项检查的价值与成本。
医生MAI-DxO
NEJM 疑难病例+47
MIMIC-IV-ED 急诊+33
数据来自微软 AI 官方博客;NEJM 病例取医生可查资料时的 36%
要点
- NEJM 疑难病例上 MAI-DxO 诊断准确率为 83%,医生不查资料时为 22%、可查资料时为 36%
- MIMIC-IV-ED 急诊病例上 MAI-DxO 为 80%,医生为 47%
- 成本优化配置下在 NEJM 病例上达到 81% 准确率,成本不到对比系统的一半
- 微软开源了部分 NEJM 病例的 SDBench 及评测代码,并将与 Beth Israel 医疗中心开展前瞻性研究
为什么值得关注
结果来自回顾性的构造病例,真实临床表现还要等前瞻性研究;但「让 Agent 主动选择要获取的信息、并计入成本」的评测方式,对设计其他领域的 Agent 评测有借鉴意义。
来源
### [微软 MAI-DxO 诊断编排系统论文登上 Science]({{URL}})
微软 AI 10 月 22 日宣布,其序贯诊断基准 SDBench 和诊断编排系统 MAI-DxO 的研究发表在 Science 上。SDBench 用 304 个 NEJM 疑难病例和 MIMIC-IV-ED 急诊病例,让模型或医生从有限信息出发,自己决定下一步问什么、做什么检查;MAI-DxO 模拟一组虚拟医生多轮辩论,并权衡每项检查的价值与成本。
- NEJM 疑难病例上 MAI-DxO 诊断准确率为 83%,医生不查资料时为 22%、可查资料时为 36%
- MIMIC-IV-ED 急诊病例上 MAI-DxO 为 80%,医生为 47%
- 成本优化配置下在 NEJM 病例上达到 81% 准确率,成本不到对比系统的一半
- 微软开源了部分 NEJM 病例的 SDBench 及评测代码,并将与 Beth Israel 医疗中心开展前瞻性研究
**为什么值得关注**:结果来自回顾性的构造病例,真实临床表现还要等前瞻性研究;但「让 Agent 主动选择要获取的信息、并计入成本」的评测方式,对设计其他领域的 Agent 评测有借鉴意义。
来源:[Building Medical Superintelligence](https://microsoft.ai/news/building-medical-superintelligence/)