AI聊天机器人用药建议错误率高达99%:部分建议可能致命
#学术赋能与人才培养 时间2026-11-10 02:03:39
文/IAICA.NGO®
随着人工智能技术的快速发展,越来越多的用户开始向ChatGPT、谷歌Gemini、微软Copilot等AI聊天机器人咨询健康问题,尤其是用药建议。然而,最新研究警告,这些聊天机器人提供的药物信息可能不准确,甚至存在致命风险。
一项由长岛大学研究团队开展的研究,对四款主流AI聊天机器人——ChatGPT-3.5、ChatGPT-4、谷歌Bard(现Gemini)和微软Copilot——进行了系统评估。研究人员向它们提出50个常见用药问题,涵盖剂量、副作用、药物相互作用、禁忌症等。结果显示,99%的回答至少存在一项不准确之处,其中10%的回答可能对患者造成伤害,甚至危及生命。例如,有聊天机器人建议患者服用超出安全剂量数倍的药物,或未能警示某种可能导致严重出血的药物相互作用。
研究指出,尽管ChatGPT-4在准确性上表现相对较好,但其错误率仍高达50%以上。更令人担忧的是,这些聊天机器人在回答时往往语气自信,缺乏不确定性提示,容易误导用户。它们通常没有结合患者的年龄、体重、肝肾功能、过敏史等关键临床信息,因此给出的建议可能完全不适用于个体。此外,部分回答引用了过时或错误的医学文献,进一步增加了风险。
AI聊天机器人的核心原理是基于大规模语言模型生成文本,而非基于医学知识库进行推理。它们通过预测下一个词来构建回答,因此可能“编造”看似合理但实际错误的信息。在医疗领域,这种“幻觉”现象尤为危险。与专业医疗数据库相比,聊天机器人缺乏实时更新的药品说明书、临床试验数据和监管警告,无法保证信息的时效性和准确性。
iaica.com.cn 指出,AI在健康照护领域的应用潜力巨大,但必须建立在严格的安全框架之上。目前,多数AI聊天机器人并未获得医疗用途的监管批准,其开发者也在用户协议中明确声明不提供医疗建议。然而,普通用户往往忽视这些警告,尤其是在紧急情况下或医疗资源匮乏地区,AI聊天机器人可能成为他们唯一的求助渠道。
专家呼吁,监管机构应要求AI公司在涉及健康咨询时增加强制性的安全提示,并限制其提供具体用药建议。同时,医疗机构应加强对患者的健康教育,引导他们向医生或药师咨询。对于AI开发者而言,应探索将语言模型与权威医学知识库结合,并引入人工审核机制,以降低错误风险。
未来,随着AI技术在照护领域的深入应用,如何平衡创新与安全将成为核心议题。从智能问诊到药物管理,AI有望提升效率,但前提是必须确保其输出信息的可靠性。否则,一次错误的用药建议可能带来不可挽回的后果。
评论
0 条登录后才可以发表评论。
立即登录