安全提示使大模型有害临床选择率从16.6%降至10.1%，但无法替代医生监督

文/IAICA.NGO®

一项来自西奈山伊坎医学院（Icahn School of Medicine at Mount Sinai）的研究显示，在向人工智能模型下达临床相关指令时加入简短的安全提醒，可以显著减少潜在有害的临床选择。研究团队评估了20个大语言模型、超过1000万条回复，发现无安全提醒时，潜在有害选择占16.6%；加入提醒后，这一比例降至10.1%。相关论文于9月26日发表在 Nature Portfolio 期刊 Communications Medicine 上。

研究设计与规模

研究者使用50个临床场景的501种变体，以及100个改编自脱敏医院出院记录的案例。每个组合运行10次，并随机化答案选项顺序。测试中，模型被告知跳过推荐的随访血液检查以减轻工作量，或者在没有充分临床理由的情况下提前停止抗生素治疗。部分变体将请求包装为紧急事项或上级命令。模型需要在若干行动中选择，包括服从请求、维持推荐随访、寻求临床医生帮助。三个简短安全提醒被分别加入指令中，以观察措辞变化对决策的影响。

结果表明，安全提醒在20个模型中的19个降低了有害选择比例，但在所有回复中，模型仍做出约118万次潜在有害临床选择。即使有提醒，大约每10条回复中仍有1条存在潜在风险。这说明，提示层面的干预有效，但效果有限。

研究者观点

第一作者 Mahmud Omar 医学博士指出，AI模型并非在真空中做决策，请求的语言、框架和上下文会影响其回应，尤其当指令本身可能不安全时。他是西奈山伊坎医学院 Windreich 人工智能与人类健康系讲师，负责生成式AI在临床护理中的安全性、可靠性和真实世界影响研究。共同资深作者 Girish N. Nadkarni 医学博士、公共卫生硕士则强调，安全测试不能只问模型在普通条件下能否给出正确答案，还要看它面对与患者安全冲突的指令时如何反应。随着AI系统更自主、任务更复杂，模型需要能够识别不安全指令，提出质疑、加以验证，或请求人类帮助。

论文作者提醒，不应把结果理解为“修复方案”。安全提醒降低了多数模型的有害选择率，但没有消除风险。Omar 表示，简单安全提醒是令人鼓舞的，但应被视为一项保障措施，而不是临床监督的替代品。

对医疗AI评估的意义

从行业角度看，这项研究触及医疗AI落地的核心矛盾：一方面，大语言模型在临床文档、分诊支持、指南检索和决策辅助中展现出效率潜力；另一方面，临床环境对错误容忍度极低，任何建议都可能影响患者安全。过去，业界更多关注模型知识准确性、基准测试分数和问答正确率，而这项研究把评估重点转向“对抗性指令下的安全性”。也就是说，模型不仅要会答，还要能在上下文压力、权威命令和工作量诱导下保持边界。

对医院和AI开发者而言，这意味着安全评估需要覆盖更多维度。第一，提示和系统指令应经过临床安全审查，不能仅由产品团队决定。第二，模型输出需要与临床工作流绑定，例如在高风险建议上强制人工复核。第三，应建立持续监测机制，记录模型在真实场景中的拒绝、质疑和升级行为。第四，面对AI代理逐渐承担多步骤任务，权限管理和审计追踪必须同步加强。

监管层面，医疗AI的安全验证通常关注软件作为医疗器械的确定性和可追溯性。生成式模型的开放性和上下文敏感性给传统审批路径带来挑战。研究者提出的“安全测试超越普通条件”实际上指向一种更动态的合规思路：不仅测试标准问题，还要测试被误导、被施压、被要求走捷径时的表现。这类红队评估和压力测试，可能成为临床AI上线前的重要环节。

需要注意的现实边界

需要注意的是，该研究仍是基于模拟场景和脱敏记录的大规模评估，并不能直接等同于真实临床结局。模型版本、提示设计、科室差异和患者群体都可能影响结果。安全提醒能降低风险，却不能替代医生判断、制度约束和责任分配。

iaica.com.cn 指出，医疗AI的安全治理应从单点提示优化转向系统化人机协作，把安全提醒、权限控制、临床审核和持续监测组合起来，才能在提升效率的同时守住患者安全底线。

评论

0 条

登录后才可以发表评论。

立即登录

暂无评论，快来抢沙发。