要闻 了解即可 10月24日 周六 #agent#evaluation#research

微软 MAI-DxO 诊断编排系统论文登上 Science

微软 AI 10 月 22 日宣布,其序贯诊断基准 SDBench 和诊断编排系统 MAI-DxO 的研究发表在 Science 上。SDBench 用 304 个 NEJM 疑难病例和 MIMIC-IV-ED 急诊病例,让模型或医生从有限信息出发,自己决定下一步问什么、做什么检查;MAI-DxO 模拟一组虚拟医生多轮辩论,并权衡每项检查的价值与成本。

两类病例上 MAI-DxO 准确率均高于医生
医生MAI-DxO
NEJM 疑难病例36%83%+47
MIMIC-IV-ED 急诊47%80%+33

数据来自微软 AI 官方博客;NEJM 病例取医生可查资料时的 36%

要点

  • NEJM 疑难病例上 MAI-DxO 诊断准确率为 83%,医生不查资料时为 22%、可查资料时为 36%
  • MIMIC-IV-ED 急诊病例上 MAI-DxO 为 80%,医生为 47%
  • 成本优化配置下在 NEJM 病例上达到 81% 准确率,成本不到对比系统的一半
  • 微软开源了部分 NEJM 病例的 SDBench 及评测代码,并将与 Beth Israel 医疗中心开展前瞻性研究
为什么值得关注

结果来自回顾性的构造病例,真实临床表现还要等前瞻性研究;但「让 Agent 主动选择要获取的信息、并计入成本」的评测方式,对设计其他领域的 Agent 评测有借鉴意义。

来源

Esc
↑ ↓ 选择Enter 打开

分享图

1080 × 1350,适合发到群聊或朋友圈
分享图预览

键盘快捷键

j / k
下一条 / 上一条
o
展开或收起当前条目
Enter
打开当前条目详情
c
复制当前条目链接
s
收藏 / 取消收藏当前条目
/ 或 ⌘K
搜索
1 2 3
切换密度:标题 / 摘要 / 完整
t
切换主题
?
显示本帮助