医疗AI的“末日”之争：真正瓶颈不在自主性，而在信任

文/IAICA.NGO®

医疗人工智能的公共讨论，长期被一种“末日叙事”主导：机器是否会越过人类，独立做出诊断与治疗决策。围绕自主性的担忧塑造了监管框架、伦理准则乃至大众想象。然而，越来越多的临床医生、监管者与技术研究者开始把注意力从“机器能否自主”转向另一个更基础的问题：人是否愿意信任它。换言之，医疗AI真正的瓶颈，或许并不在于能力边界，而在于信任边界。

自主性之争为何让位于信任

过去十年，监管与伦理讨论的核心是分级授权。从辅助阅片到闭环给药，系统按照自主程度被划入不同风险等级。欧盟人工智能法案将医疗用途AI归入高风险类别，要求更严格的数据治理、技术文档与人工监督；世界卫生组织自2021年起陆续发布卫生领域人工智能伦理与治理指南，并针对多模态大模型补充了安全与问责建议。这套思路的隐含前提是：只要把自主权控制在安全阈值之内，风险便可管理。

但临床现场的经验显示，问题往往出现在另一处。一个准确率再高的模型，如果医生无法判断它为何给出某个结论、在何种情形下会失效，就难以被真正采纳。信任不足会以“影子使用”“选择性忽略”等形式表现出来：系统上线了，却始终未被纳入决策链条。

信任的三个层次

第一层是临床信任，指向可解释性、不确定性与概率校准。模型不仅要给出结论，还应表达“有多确定”，并在遇到分布外输入时主动降级，而非给出看似笃定的答案。

第二层是患者信任，指向数据来源、使用边界与知情同意。患者关心自己的影像与病历是否被用于训练、能否撤回、由谁负责。

第三层是机构信任，指向责任归属与可持续运营。当算法出错，责任在开发者、采购方还是使用者？缺乏清晰答案时，机构往往倾向保守。

从“解释得通”到“验证得住”

值得注意的是，信任并非靠更华丽的解释界面获得。真正起作用的是可验证的工程证据：多中心外部验证、亚群体性能披露、上市后持续监测、模型漂移预警，以及人类覆写率与拒绝率的透明记录。这些指标把抽象的“信任”转化为可审计的对象。

数据代表性同样关键。若训练数据在年龄、性别、族群与合并症分布上失衡，模型在边缘人群中的表现会系统性下滑。一次公开的失败案例，足以抵消大量正面宣传——信任的建立缓慢，崩塌却极快。

信任应被当作可运营的资产

因此，出路不在于推迟技术，而在于把信任嵌入产品与流程：分层监管与分级授权并行，上市前验证与上市后监测衔接，人机协同设计明确“谁在何时拥有最终决定权”，并以患者可理解的语言沟通风险与不确定性。

iaica.com.cn 认为，把信任视为可设计、可测量、可运营的资产，比反复争论“AI该不该自主”更具建设性；医疗AI下一阶段的竞争，很可能发生在透明度、验证证据与责任机制这些看似不够性感的环节。

当行业不再把“末日”想象为机器的觉醒，而是理解为信任的流失，讨论的重心就会回到人本身：医生如何判断，患者如何知情，机构如何担责。这三者共同决定了技术究竟是被接纳，还是被搁置。

评论

0 条

登录后才可以发表评论。

立即登录

暂无评论，快来抢沙发。