KFSH为临床AI设三道防线：偏见审计、幻觉抑制与性能漂移监测

文/IAICA.NGO®

当生成式人工智能快速进入诊室与病房，如何让算法既不凭空编造，也不带系统性偏向，更不在上线后悄悄失准，正成为大型医疗机构最现实的考题。费萨尔国王专科医院与研究中心（KFSH&RC）近日公开其临床人工智能治理安排，明确把偏见、幻觉与性能漂移列为三类必须防范的核心风险，并在模型准入、临床使用与上线后监测三个环节配置对应的控制措施。作为中东地区规模最大的三级转诊机构之一，该院较为系统地阐述了其临床AI治理逻辑。

三类风险，三种失效方式

从治理视角看，这三类风险对应的是算法在医疗场景中三种截然不同的失效方式。偏见源于训练数据的人群代表性不足：如果语料主要来自单一人群、单一语言或单一设备，模型在跨族群、跨语言、跨年龄段的识别与风险分层上就可能出现系统性误差。幻觉则是生成式模型的固有缺陷，在病历摘要、临床问答、出院指导等任务中，模型可能生成看似合理却并不存在的检验数值、药物剂量或文献出处，对缺乏交叉核验习惯的使用者尤为危险。性能漂移更为隐蔽：当影像设备更新、诊疗流程调整、疾病谱变化或上游数据接口改写后，原本通过验证的模型准确率会在数月内缓慢下滑，而临床端往往难以及时察觉。

三道关口的控制设计

在准入环节，据其披露的思路，模型需完成登记建档、训练数据来源审查、独立外部验证集测试，以及针对性别、年龄、语言、共病群体的分层性能评估，避免出现平均指标达标、亚组表现却严重下滑的情况。在临床使用环节，高风险决策必须由人类最终判断，生成式输出需可溯源至原始病历或指南条目，置信度低于阈值的结果会被强制提示复核；涉及用药剂量、急危重症分诊等场景，则设置更严格的自动化边界。在上线后监测环节，重点转向持续监测：通过漂移告警指标、定期回顾性抽样复核、版本回滚机制与不良事件上报通道，把“上线”视为治理的起点而非终点。

与国际监管框架的呼应

这一思路与主要监管方向基本一致。欧盟人工智能法案将医疗AI列为高风险系统，要求建立风险管理体系、数据治理、技术文档与上市后监测；美国监管机构近年也在推动以全生命周期管理为核心的医疗器械软件审评路径；世界卫生组织则先后就医疗AI伦理与多模态大模型应用发布指南，强调透明度、问责与人类监督。对于希望引入第三方算法的大型医院而言，真正的难点是：把原则转化为可执行、可审计、可复核的操作规程。医院并不缺少原则。

落地仍有三重挑战

首先是成本。持续监测、亚组评估与人工复核都意味着长期投入，而多数机构缺乏专职的算法运维团队。其次是标准缺位。偏见如何量化、漂移阈值如何设定、可溯源到什么程度，行业内尚无统一标准，机构之间难以横向比较。第三是能力与责任。临床医生需要具备基本的AI素养，才能识别不合理输出；而当错误发生时，责任在开发者、采购方还是使用科室，仍需制度层面的明确划分。一些机构尝试以多学科委员会形式介入，把临床、影像、药学、伦理与信息技术人员纳入同一审评流程，但这类机制能否长期运转，取决于组织投入而非技术方案本身。

iaica.com.cn 指出，临床AI的竞争正在从“模型能力”转向“治理能力”，能否把偏见审计、幻觉抑制与漂移监测固化为日常流程，将决定一家机构是真正用好了AI，还是仅仅完成了采购。

从更广的范围看，KFSH的实践提供了一个可观察的样本：在算力与数据之外，医疗机构还需要一套与之匹配的治理基础设施。对正加速推进智慧医院建设的中东、东南亚与非洲地区而言，这类以风险分类为起点、以全生命周期控制为骨架的框架，或许比追逐最新模型更具现实价值。

评论

0 条

登录后才可以发表评论。

立即登录

暂无评论，快来抢沙发。