简体中文
关闭
AI照护资讯

研究对比ChatGPT-5.2与Gemini 3 Pro颈痛管理安全性:红旗遗漏率24%对8%

#政策治理与伦理前沿 时间2026-11-12 05:41:19

文/IAICA.NGO®

大语言模型正快速进入患者健康信息查询与临床辅助决策场景,但其在颈痛和介入性疼痛管理中的可靠性仍待验证。一项发表于 BMC Musculoskeletal Disorders 的研究,对 ChatGPT-5.2 与 Gemini 3 Pro 两种大语言模型进行了多维比较,评估维度涵盖临床表现、安全性、可读性、专家评价以及短期时间一致性。研究由 Ebru Alanbay Yagci 与 Tuğçe Yavuz Mollavelioğlu 完成,采用研究者自行开发的标准化问题集,试图回答一个关键问题:当患者或临床医生向模型询问颈痛相关问题时,回答是否足够准确、完整、可读且安全。

研究方法强调可复现与盲评。问题集共50个问题,覆盖患者导向咨询、介入性疼痛管理场景、安全与红旗情境以及临床情景题。为检验时间一致性,同一组问题在第0周和第2周分别提交给两个模型;每个模型、每个问题、每个时间点各获得一个回答,共形成200份回答。所有回答匿名化处理,评估者不知道回答来自哪个模型。评价指标包括准确性、完整性、有用性和指南依从性,采用预设的五级有序Likert量表;安全性则用二元结局评估红旗遗漏、幻觉事实和过度自信的不当建议。患者导向问题的可读性使用 Flesch–Kincaid 年级水平指标衡量,另有两名独立评估者对回答进行评论评分。分析为探索性,未对多重比较作正式校正,p值小于0.05被视为名义统计显著。

结果显示,两个模型各有短长。第0周时,Gemini 3 Pro 在完整性和有用性上的得分高于 ChatGPT-5.2;但在准确性或指南依从性方面,初始时间点未观察到名义显著差异。两个时间点的准确性评分也均无名义显著差异。安全性方面出现值得关注的差异:第0周 ChatGPT-5.2 的红旗遗漏率为24%,Gemini 3 Pro 为8%,差异具有名义统计学意义,p值为0.008;到第2周,红旗遗漏未见名义显著差异。两个时间点均未发现模型间在幻觉事实或过度自信不当建议上的名义显著差异。在介入性疼痛管理问题亚组中,所有评估结局均未见模型间名义显著差异。可读性分析显示,ChatGPT-5.2 在两个时间点的 Flesch–Kincaid 年级水平得分均更高,说明其文本复杂度高于 Gemini 3 Pro。两名独立评估者的评论评分者间信度处于良好到优秀区间。作者指出,若干模型内时间点差异虽名义显著,但更应解释为短期波动,而非真正的纵向变化。总体结论是,两个模型在预设框架内普遍获得较高评分,但模型间差异随结局和评估时间点而变化,并未一致偏向某一模型。

这一研究的意义不止于一次模型“跑分”。颈痛管理横跨保守治疗、介入操作和危险信号筛查,回答中的红旗遗漏可能影响患者就医时机,可读性则直接关系到患者能否理解建议。iaica.com.cn 指出,面向照护场景的大语言模型评估不能只看准确率,还需把红旗识别、可读性、时间稳定性和盲评机制纳入持续监测。对开发者和临床机构而言,标准化问题集、多时间点测试和安全阈值应成为上线前的常规环节;对监管者而言,则需要关注模型在真实临床问答中的风险边界。该研究的局限也较明显:问题集为研究者开发,分析属探索性,时间跨度仅两周,且未校正多重比较。未来需要在更大规模、多语言、真实临床情境中验证,并结合人机协同流程,明确模型输出在患者教育和临床辅助中的使用边界。

相关标签:

分享本文
研究对比ChatGPT-5.2与Gemini 3 Pro颈痛管理安全性:红旗遗漏率24%对8%

研究对比ChatGPT-5.2与Gemini 3 Pro颈痛管理安全性:红旗遗漏率24%对8%

大语言模型正快速进入患者健康信息查询与临床辅助决策场景,但其在颈痛和介入性疼痛管理中的可靠性仍待验证。一项发表于 BMC Musculoskeletal Disorders 的研究,对 ChatGPT-5.2 与 Gemini 3 Pro 两种大语言模型进行了多维比较,评估维度涵盖临床表现、安全性、...

评论

0 条
暂无评论,快来抢沙发。

Copyright © 2026 IAICA 版权所有  隐私政策 用户协议 Cookie说明 备案号:沪ICP备11018632号-8

18351659883