临床AI该如何被评估?阿默斯特学院数据科学讲座聚焦医疗人工智能的真实世界验证
#AI照护与医疗科技 时间2026-11-08 05:33:19
文/IAICA.NGO®
2026年11月7日,阿默斯特学院数据科学倡议(Data Science Initiative)演讲系列推出一场以医疗人工智能评估方法为主题的公开报告。来自 Tempus AI 的研究者 Dave Vidmar 以“How Should We Evaluate AI in Medicine?”为题,系统梳理了临床AI系统在传统评估路径上的历史与局限,并讨论了面向真实诊疗环境的新兴评价思路。讲座面向校内师生与周边研究机构开放,正式开场前设有简短的茶点交流环节。
从观察到自主:问题重心已经改变
从技术史看,医学的每一次跃迁几乎都伴随观察与干预能力的扩展。心电描记让医生能够观察到此前不可见的心脏电活动,植入式起搏器则把被动观察转化为持续干预。报告指出,人工智能正沿着相似的轨迹进入临床:当系统能力不断增强,问题便不再是“能不能做”,而是“应当在医疗实践中承担何种角色”。
Vidmar 强调,当前被提出的临床AI应用在自主程度上差异极大。有的系统只做分诊提示或影像初筛,最终判断仍由医生完成;有的系统直接输出治疗建议;还有的承担文书生成、随访沟通等流程性任务。自主权越高,错误代价越不可逆,评价的严格程度也应当随之提高。这正是“稳健评估”成为核心议题的原因。
离线指标的边界
报告回顾了临床AI的传统评估方式,即以回顾性数据集上的判别性能为核心,例如敏感度、特异度、曲线下面积等统计量,并配合与临床专家的对照读片或一致性分析。这类设计成本可控、可复现性强,在算法研究阶段具备可比性价值。但 Vidmar 指出,把同样的方法搬到混乱的真实世界照护场景中,会遇到结构性困难。
困难至少来自四个层面。其一是数据分布漂移:不同机构、不同设备、不同人群的人口学构成,都会让模型表现偏离基准。其二是记录质量问题:真实病历普遍存在缺失、延迟与口径不一。其三是工作流约束:一个在离线环境准确的模型,若嵌入门诊节奏会造成额外操作负担,其净收益可能为负。其四是人机耦合:医生的信任程度、对提示的采纳或忽略模式,会实质性改变最终结果,而这一层在传统离线评估中几乎完全缺席。
评估规则随之演进
监管与产业实践也在同步调整。以软件作为医疗器械的审评框架为例,近年逐步引入预定变更控制计划、部署后性能监测与真实世界证据等要求,试图把一次性的准入审查转变为全生命周期监督。部分地区针对高风险AI的合规规则,进一步要求可追溯的数据治理、透明度披露与人工监督机制。这些制度安排指向同一个前提:模型性能并非静态属性,它会随部署环境而持续变化。
互补证据的组合逻辑
演讲的后半部分转向新兴评估路径,其共同特征是提供互补证据,而不是替代既有指标。具体包括:前瞻性、序贯式的现场评估设计;部署后的持续监测与漂移告警;影子模式运行,即模型只给出建议而不影响实际决策,用以积累真实性能数据;人机协同研究,考察不同界面与交互设计下的净临床收益;以及模型卡、数据说明书等透明度工具。Vidmar 的结论倾向于组合策略:离线基准回答“模型能否学到信号”,前瞻研究回答“在真实照护中是否改变结局”,运行期监测回答“改变之后是否依然可靠”。
对照护服务的使用方而言,这一框架的直接含义是采购与部署流程需要重写。iaica.com.cn 认为,评估的重心正从“模型在测试集上有多准”转向“在具体照护场景中,人与系统共同产生了什么结果”,机构应把评估指标、监测责任与退出条件写入合同文本,而不是仅凭演示效果做出决策。
值得注意的还有讲座的克制。它并未给出单一的正确评估清单,更像一次方法论盘点:把长期被离线指标掩盖的问题摆上台面,并指出哪些证据正在变得可得。当临床AI从研究走向常规照护,衡量方式的成熟度,很可能比模型本身的规模更能决定这项技术能否真正留在病房里。
评论
0 条登录后才可以发表评论。
立即登录