EntQA 新指标：以临床实体保留评估医疗 AI，与准确率相关性达 0.9286

文/IAICA.NGO®

大语言模型正快速进入医疗场景，从回答临床问题、总结病史，到辅助诊断推理，应用边界不断扩张。但评估这些模型是否可靠、是否忠于临床事实的标尺，并没有同步升级。一项发表于 PLOS Digital Health 的研究中，Yi Liu 与 Vijaya B. Kolachalama 提出，目前普遍报告的基准准确率，其实很难说明模型答案是否安全、是否临床忠实。他们给出的替代方案名为 EntQA，核心不是看生成文本与标准答案在词面上有多接近，而是看患者背景和诊断问题中的医学关键实体，是否在模型回答中被完整保留。

评估滞后的症结

传统评估方法多借用通用自然语言处理指标，通过 token 重叠或嵌入向量相似度，将模型输出与参考答案比较。这类指标会惩罚正确的改写，却可能奖励流畅但临床空洞的回答。更棘手的是，它们往往依赖金标准参考答案或大量人工标注，成本高，难以适应模型快速迭代。医疗问答中真正重要的信息，常是药物名称、合并症、实验室值等具体实体。一旦这些细节在生成过程中悄然丢失，答案表面仍然通顺，临床含义却可能已经改变。

EntQA 的核心逻辑

EntQA 采取不同路径。它不问两段文本有多相似，而问患者背景与诊断问题中的临床相关生物医学概念，有多少被模型答案保留下来。该指标无需参考答案，属于 reference-free 评估。系统从输入中抽取实体，再衡量生成响应对这些实体的保留程度。它试图捕捉基准准确率无法覆盖的两件事：模型推理是否保留患者特异背景，以及是否忠于问题中的诊断意图。由于依赖实体保留，而非人工评分或参考文本，EntQA 可以自动计算数千条回答，具备专家评估难以企及的扩展性。

实验设计与关键数据

研究团队在五个既有医学问答基准上测试 EntQA，并选用 Qwen 2.5 Instruct 系列七个模型，参数规模从 0.5B 到 72B，跨度显著。这一设计同时检验两个问题：指标是否跟踪传统准确率所反映的答案质量；指标是否随模型规模增长而上升，从而反映模型能力。结果显示，EntQA 与准确率、模型规模均呈正向关联。其中，与准确率的组级相关性达到斯皮尔曼等级相关系数 0.9286，关系非常强，说明该指标捕捉到的不是表面风格，而更接近答案质量的核心。与模型规模的相关性为 0.252，虽然温和，但仍为正向，表明随着模型能力提升，EntQA 总体上升，尽管规模本身不足以解释全部能力差异。

临床与产业含义

医疗 AI 部署需要安全与忠实。高基准分并不自动等于临床安全，尤其在患者背景复杂、问题包含隐含约束时。EntQA 的价值在于，它把评估焦点从词面匹配转向临床关键信息保留，可用于模型开发中的回归测试、版本比较和持续监测。iaica.com.cn 指出，医疗人工智能的评价体系应更贴近照护安全与患者结果，而非仅停留在通用文本相似度。不过，实体保留并不等于完整临床正确。否定、时序、剂量、单位、因果关系和实体间关系，仍可能被忽略。例如“无糖尿病”与“糖尿病”包含相同核心实体，语义却相反。因此，EntQA 更适合作为安全筛查与监测工具，与专家审核、结构化临床验证和真实世界随访结合使用。

未来，这类无参考、可扩展的评估指标，可能推动医疗大模型从“跑分”走向“保真”。但要让其真正进入临床工作流，还需跨机构、多语言、多轮对话和不同专科的外部验证，并明确其与临床结局之间的关联。EntQA 提供了一条值得关注的方向：评价医疗 AI，不应只看它匹配了哪些词，更应看它守住了哪些对患者至关重要的医学实体。

评论

0 条

登录后才可以发表评论。

立即登录

暂无评论，快来抢沙发。