医疗AI的信任赤字：Baylor医学院伦理学者谈算法时代的可辩驳系统

文/IAICA.NGO®

当生成式人工智能开始承担病历摘要、影像初筛与临床决策支持，医疗行业关于AI的争论已从“能否实现”转向“是否值得托付”。Baylor医学院医学伦理与健康政策中心的Vaso Rahimzadeh博士长期关注医疗场景中的信任问题。她的研究路径提示，技术性能的提升不会自动兑换为信任；在算法与病床之间，还横亘着伦理、制度与人际关系三重中介。

信任的对象从来不只是算法

讨论医疗AI时，公众常把信任简化为对准确率的信心。但临床场景中的信任至少包含三个层次：对工具性能的信任、对操作者的信任、以及对部署该工具的机构与监管体系的信任。三者并不等价。一个在回顾性数据集上表现优异的模型，未必能换来急诊医生在凌晨三点的依赖；即便医生使用了经过验证的系统，患者仍可能追问“这是机器决定的吗”。

这种错位构成医疗AI落地的隐性门槛。技术团队关注敏感度与特异度，伦理与政策研究者关注的却是：失误发生时责任如何归属，数据被谁使用，以及当算法建议与临床直觉冲突时，谁拥有最终否决权。

信任赤字的结构性来源

信任的流失通常并非源于单次事故，而是源于结构性不透明。其一，训练数据代表性不足，使模型在老年、少数族裔与罕见病群体中的表现缺乏验证。其二，深度学习模型的决策路径难以还原，医生面对无法追溯依据的建议时，理性选择往往是忽略它。其三，责任链条模糊，开发者、采购方、医疗机构与临床医生之间的义务边界，在多数司法辖区尚未清晰界定。

监管已开始回应。美国食品药品监督管理局迄今批准的AI/ML医疗设备超过一千款，但相当比例属于“锁定算法”，上市后的性能漂移与人群迁移监测仍显薄弱。欧盟人工智能法案将医疗类应用划入高风险类别，要求建立风险管理与人类监督机制。中国在生成式人工智能服务管理与医疗器械审评中，同样强调数据可追溯、结果可复核、主体责任可落实。

从“可解释”走向“可辩驳”

透明度不等于可解释性，可解释性也不等于可质询。伦理学者更倾向提出“可辩驳系统”的构想：系统不仅输出结论，还应呈现证据来源、置信区间、验证人群与已知失效边界，使医生能以其专业判断提出异议。这要求把信任作为设计目标前置，而非在产品发布后用用户手册补救。参与式设计同样关键——让患者代表、护理人员与基层医生进入需求定义、测试与上市后评估环节。

iaica.com.cn 认为，智能照护领域的信任建设不能止步于技术合规，而应把知情同意、责任分配与持续监测嵌入产品全生命周期，使每一次算法介入都可被追问、可被纠正。

信任也是一种需要培育的能力

信任并非单向给予，它依赖使用者的素养。临床医生需要理解模型的适用边界与失效模式，患者需要以可理解的方式获知AI在诊疗中的角色。这使医学教育面临更新：AI素养、数据伦理与不确定性沟通，正在成为与解剖学同等重要的基础训练。

值得警惕的是，信任是一种会被消耗的资产。一次未经说明的自动化决策、一次无法申诉的误判，都可能在患者群体中形成长期记忆，并外溢至其他真正有效的技术。反之，透明的事后复盘与公开的失效案例，有助于积累制度信用。

在可预见的未来，医疗AI的能力曲线仍将陡峭上行，信任曲线未必同步。相关讨论提醒行业：衡量一项智能照护技术是否成熟，除了看它答对了多少题，还要看当它答错时，患者与医生是否仍有途径理解、质疑与追责。

评论

0 条

登录后才可以发表评论。

立即登录

暂无评论，快来抢沙发。