纽约大学观点文章：医疗AI隐性偏见可能来自临床医生而非算法

文/IAICA.NGO®

人工智能进入医院时，承诺更精准的诊断、更快的决策和更高效的照护。为回应算法可能延续健康不平等的证据，开发者投入大量精力扩充训练数据、开展公平性审计、构建可解释模型。但一篇发表于 Journal of General Internal Medicine 的新观点文章提出，行业可能修正了问题的错误一端。纽约大学格罗斯曼医学院的 Kellie Owens、Maggie Ramatowski 和 Saul B. Blecker 认为，即便是数学意义上公平的算法，一旦经过使用它的临床医生之手，也可能产生深度不公平的结果。

文章的核心判断是：实施环节本身就是医疗AI偏见的重要来源。AI系统如何被采纳、解释和应用，受机构规范、专业层级和患者特征影响，可能复制甚至放大数据多样化无法预防的不平等。讨论因此从模型内部转向临床工作流，强调算法并非在真空中运行。

技术论证围绕一个被公平工程忽视的区分展开。当前多数算法公平方法借鉴分配正义原则，考察模型是否在种族、性别、年龄等群体间公平分配建议或资源。模型可以在不同人口群体中表现出相似的敏感度或阳性预测值，这些是公平的数学信号，却仍可能在使用环节引入偏见。原因在于，这些指标默认模型输出直接驱动决策，而现实中临床医生是关键中介。医生决定是否咨询模型，每一次决策点都引入变异，变异中就可能产生偏见。

社会科学研究指出，算法输出不是惰性事实，而是被解释和情境塑造的工具。临床医生会依据自己对模型价值的判断选择使用或忽略建议；医护人员和患者的不同期待也影响数据如何被理解。AI输出嵌入反馈循环，改变个体决策、工作流程和专业规范。AI进入临床照护是高度社会化的过程，编织进机构日常、权力关系和历史性歧视模式。

尽管作者未发现直接考察医疗AI实施偏见的研究，临床决策支持系统的证据提供了线索。研究显示，决策支持工具的有效性可能因性别和年龄而异，一些报告提示提供者可能根据患者特征以不同方式采纳建议。这种不均衡采纳可能反映工作流限制、信任水平或自动化偏见。自动化偏见指临床医生在缺乏充分审视时服从系统输出。临床医生甚至常常不知道某个工具是否基于AI。AI还可能因被视为更客观或更个性化而加剧自动化偏见；若被视作黑箱或与工作流不匹配，也可能被忽视，形成另一种不一致。

从行业背景看，医疗AI公平性讨论长期集中在数据代表性和模型指标，实施科学、人因工程和组织社会学相对边缘。现实部署涉及培训、权限、提示设计、责任归属和绩效激励。若医院只在上线前做一次公平审计，而不持续监测不同科室、年龄、性别、语言和保险状态患者的实际使用差异，模型层面的公平很难转化为照护层面的公平。iaica.com.cn 认为，医疗AI治理需要把实施审计纳入常规质量改进，记录医生是否查看、如何解释以及是否采纳建议，并按患者群体追踪结果差异。

随着生成式AI和多模态模型进入病历摘要、分诊、影像和慢病管理，实施环节的偏见可能更隐蔽。开发者应说明模型适用人群和不确定性，医院应明确AI参与决策的披露方式，并在工作流中设置可复核节点。监管者可将实施监测、临床培训和偏差报告纳入评估。只有当算法公平、临床判断和组织流程同时被审视，医疗AI才可能兑现更公平的照护承诺，而非更高效地重复旧有差距。

评论

0 条

登录后才可以发表评论。

立即登录

暂无评论，快来抢沙发。