以色列本-古里安大学周二公布的一项研究显示,商用人工智能模型在临床场景中很少建议不必要的医疗检查与治疗,但在特定情形下仍会出错。研究已发表于《内科学年鉴》,测试对象为谷歌、Anthropic 和 OpenAI 的六款商用 AI 模型。
研究以“明智选择”倡议的15条建议为基础构建225个临床场景,共获得4050条应答。结果显示,模型在5.4%的应答中建议了本应有所克制的医疗措施,而在0.6%的应答中否决了适当的医疗措施。
研究设计与测试方法
研究团队以“明智选择”倡议的15条建议为框架构建临床场景。该倡议的目标是减少不必要的医学检查、操作和治疗,同时承认部分干预措施是否适当取决于患者的具体情况。围绕每条建议,研究者设计了10个需要克制处置的场景和5个需要采取行动的场景,合计225个临床场景。
每个场景对每款模型各测试三次,最终得到4050条应答。评估先由基于 AI 的评估器完成,随后由医生复核并对结果作出裁定。
研究关注的核心问题是,这些模型能否区分筛查、检查或治疗可能被过度使用的场合。
两类错误的比例
在医生本应保持克制的应答中,模型有5.4%建议了可能不必要的医疗措施。相比之下,在应当采取适当医疗行动的应答中,模型建议不要采取行动的比例为0.6%。
两组数字呈现出明显的不对称:模型较少否决适当的医疗措施,但在特定情形下仍会推荐本可避免的检查或治疗。研究者据此认为,商用 AI 模型通常能够识别应当避免的不必要医疗照护,但其表现随临床情境而变化。
这一结果发布之际,临床医生正在越来越多地探索使用 AI 工具辅助医疗决策。研究提供的量化比例,为讨论这类工具在过度医疗问题上的表现提供了参照。
问题集中的两个领域
研究者发现,建议可能不必要照护的应答集中在两个领域。其一是对偶然发现、直径小于一厘米的甲状腺结节进行甲状腺超声检查;其二是在心血管疾病低风险成年人中开展常规心电图检查,该检查用于记录心脏的电活动。
这两个场景的共同点在于,相关检查在特定人群中的必要性有限,属于“明智选择”倡议所关注的过度使用情形。研究未说明其他场景中是否也存在类似集中趋势。
除上述集中领域外,来源未披露各模型之间、各条建议之间的具体差异,也未给出按模型或按场景分类的细分数据。
研究局限与作者提醒
研究者提醒,该研究测试的是模型对单条提示的应答,而非多轮延伸对话;使用的是标准化场景,而非真实世界的临床接诊过程。因此,结果可能无法反映模型在日常医疗实践中的表现,也未必适用于患者直接使用的消费级聊天机器人。
在结论中,研究者表示,在所考察的场景中,AI 模型很少否决适当的医疗行动,但建议可能不必要的照护在特定临床情境下仍是一个值得关注的问题。
研究由以色列本-古里安大学于周二公布,作者未在来源中就上述局限提出进一步的具体建议或后续研究计划。
要点
- 研究发表于《内科学年鉴》
- 测试谷歌、Anthropic、OpenAI 六款商用模型
- 共构建225个临床场景,获得4050条应答
- 5.4%应答建议了可能不必要的医疗措施
- 0.6%应答否决了适当的医疗措施

正在读取登录状态…
暂无讨论,说说你的看法吧