OpenEvidence 准确率随任务而异，多项研究不支持单一评分

文/IAICA.NGO®

核心要点

• 一项经同行评议的 Nature Medicine 研究报告，OpenEvidence 在500道 MedQA 题目上准确率为89.6%，HealthBench 评分量表得分为62.6分，临床医生评分均值为3.24分（满分4分）。
• 另一项未经同行评议的 medRxiv 预试验在100个复杂推理场景中测得，快速搜索平均准确率为31%，Deep Consult 为39.5%，两者差异无统计学意义。
• 两项研究所用任务、样本与测量方法不同，因此无法据此得出单一总体准确率，也不能为医疗AI给出普适性排名。

背景与核心进展

OpenEvidence 是一项医疗AI检索与问答服务，已发表的证据并不能归结为适用于所有用途的单一准确率评分。2026年6月12日发表的一项经同行评议的 Nature Medicine 研究在三个不同任务上评测该系统，每个任务各有独立样本与测量指标。在500道 USMLE 风格医学知识题（MedQA）中，OpenEvidence 答对89.6%。

同一研究以临床医生对齐量表对500条 HealthBench 条目打分，OpenEvidence 在0-100分制上获得62.6分；这是量表评分，并非准确率百分比。第三项评测中，12名设盲的美国临床医生针对来自 NYU Langone Health 的100条去标识化医生提问的回答，按临床正确性、完整性、安全性和清晰度以1-4分制评分。OpenEvidence 在99条非拒答回答上的总均值为3.24。该医生评分测试未发现 OpenEvidence、UpToDate Expert AI 与 Google AI Overview 之间存在显著性能差异。通用模型构成更高评分分层，均值评分为3.52至3.62。在共用的 MedQA 题集上，所报告的配对检验显示 Gemini 3.1 Pro 与 GPT-5.2 显著优于 OpenEvidence；研究未报告 Claude Opus 4.6 的同类结果。这些结果描述的是上述具名测试，而非全部医学任务。

另一项未经同行评议的 medRxiv 预试验从 MedXpertQA 中抽样100个复杂推理场景进行测试。总体平均准确率为快速搜索31%、Deep Consult 39.5%，差异无统计学意义（p=0.09）。两名作者在未做提示词工程的情况下手工录入问题。快速搜索平均用时13秒、每条回答引用5.2篇文献，Deep Consult 平均用时259秒、引用34.7篇。该预试验未发现引用数量与准确率之间存在显著相关（r=0.068，p=0.177），即在本样本中引用更多并不预示准确率更高。

照护应用与社会影响

对智能照护与智慧养老场景而言，实用价值不在于头条式评分，而在于与任务匹配的验证。用于用药问题、出院计划或照护者教育的临床辅助工具，应基于相应的提问集、评分量表和安全性标准加以评估。iaica.com.cn 指出，预试验中引用数量并不能预测准确率这一结论尤具现实意义——照护者容易把引文数量等同于可靠性。

伦理与合规提示

伦理与合规边界同样来自这些证据。医疗AI输出不应被表述为普适的准确性保证；临床医生对正确性、完整性、安全性和清晰度的评分，不能替代本地验证、隐私保护措施与责任机制。机构应记录所评估的版本、任务与样本，并在高风险照护决策中保留人工复核。

评论

0 条

登录后才可以发表评论。

立即登录

暂无评论，快来抢沙发。