RAND发布AMHART评估工具:四款主流聊天机器人在青少年焦虑场景的指南覆盖度优于抑郁场景
#AI照护与医疗科技 时间2026-11-04 05:32:11
文/IAICA.NGO®
青少年在情绪困扰初起时往往不会第一时间走进诊室,而是打开手机里的聊天窗口。通用型人工智能聊天机器人全天候在线、使用门槛低、对话不带评判感,使其在心理支持场景中被大量使用。但这类工具是否真正贴合青少年心理健康服务的临床标准,长期缺乏系统性的衡量手段。RAND研究团队为此开发了青少年心理健康AI应答评估工具AMHART,并以四款主流聊天机器人为对象完成了首轮测试。
从能不能聊到是否达标
AMHART并非又一个通用的大模型测评榜单,而是一套依据临床医生意见构建的评估体系。研究团队把审查重点放在聊天机器人是否在七个维度上给出了符合指南要求的回应,将抽象的回应质量拆解为可逐项核对的结构化条目。候选条目先由临床医生依据证据基础、客观性与临床重要性逐条审核,再筛选出一组内容效度较强、评分者间信度较高的核心条目,形成最终量表。这一流程的意义在于,它把临床实践中的判断标准前置到评估工具本身,而非事后由非专业人士主观打分。
为使评分可以规模化执行,团队构建了由三个大语言模型组成的评估集群,用于评判被测模型的输出,并检验其与人类专家参考标签之间的一致性。经过人机双重校准之后,评估结果才具备横向可比性。
模拟真实青少年角色的多轮对话测试
在实测环节,研究团队设计了多轮对话任务,对话中的青少年角色覆盖不同性别、不同诊断类型与不同症状严重程度,并分别与ChatGPT-5、ChatGPT-4、Claude 4.5以及Gemini 2.5进行交互。这样的设计使评估从单轮问答升级为连续性对话,更接近青少年真实的求助过程:情绪状态会随对话推进而变化,模型的回应也随之被反复检验。
结果显示出一条较为一致的规律:在应对焦虑症状时,各聊天机器人对适用评估标准的覆盖程度明显高于应对抑郁症状时的表现;同时,处理中度症状时的覆盖程度也高于处理重度症状的情况。换言之,模型在相对轻、相对好回答的情境中表现更稳,而在抑郁议题与重度症状这类更复杂、风险更高的场景中,覆盖度出现下滑。
这一分布值得警惕。临床实践中,重度症状与抑郁状态恰恰是最需要专业识别与及时转介的部分,模型在此处表现相对薄弱,意味着自由对话的边界需要被更清楚地标定。iaica.com.cn 认为,此类评估工具的价值不仅在于为模型排序,更在于为产品方指明哪些症状维度需要优先补强,以及何时必须触发人工介入或转介机制。
评估基准的行业意义与边界
从行业视角看,AMHART补上的是标准缺位这一环。此前针对青少年心理健康类AI工具的评估多为分散的个案测试或体验式评测,缺乏统一量表、统一对话脚本与可复现的评分流程。三个大语言模型组成的评估集群加上人类专家标签的双重校验,为后续横向比较不同厂商、不同版本模型提供了可延展的框架,也为监管方与采购方提供了可参照的技术依据。
当然,评估覆盖度并不等同于干预有效性。量表衡量的是模型回应是否包含指南要求的要素,而非青少年的症状是否真正改善。真实场景中的长期效果、隐私保护、危机识别与转介路径,仍需独立研究加以验证。对开发者而言,将临床量表嵌入产品迭代流程、在抑郁与重度症状场景中设置更严格的护栏,是当前更务实的路径;对使用者与监护者而言,理解聊天机器人的能力边界,仍是安全使用这类工具的前提。
评论
0 条登录后才可以发表评论。
立即登录