ChatGPT 距离取代真正的医生还差得很远，AI 诊断错误太多

ChatGPT，著名的生成人工智能，已经过其诊断儿科病例的能力的测试。结果并不乐观，特别是对于影响儿童的疾病。

本周在《美国医学会儿科杂志》上发表的一项研究表明，ChatGPT-4、最新版本的聊天机器人在诊断 100 例罕见病例时，准确率仅为 17%。这一比率远低于 ChatGPT-3 在去年类似测试中获得的 39% 的准确率。

这项研究由纽约科恩儿童医学中心的研究人员领导，强调了使用人工智能聊天机器人进行复杂诊断的局限性和挑战，特别是对于儿童。研究人员强调，儿科病例需要更多地关注患者的年龄和发育阶段，以及更多的沟通技巧，以从儿童或其父母那里引出症状。

另请阅读–ChatGPT 在兽医误诊后挽救了狗的生命

研究人员使用了 2013 年至 2023 年间发表在《JAMA Pediatrics》和《NEJM》上的 100 个儿科病例。这些病例旨在测试医生的诊断技能，因为它们涉及不常见或异常的情况，需要仔细分析和推理。研究人员将病例文本转发给 ChatGPT 并要求其提供诊断。然后，两名医生兼研究人员评估了聊天机器人的反应，并将其评分为正确、不正确或部分正确。

ChatGPT仅在17个案例中正确，在72个案例中错误，在11个案例中部分正确。部分正确的病例是指 ChatGPT 给出的诊断与正确的诊断相关，但过于模糊或笼统而不能被认为是准确的。

研究人员还注意到ChatGPT 很难识别人类医生很容易识别的不同病理之间的关系。例如，ChatGPT 未能将自闭症和坏血病联系起来，这两种疾病都与维生素 C 缺乏有关，ChatGPT 也犯了与同一器官系统相关的错误，例如混淆了肾结石和肾癌。

研究人员建议，ChatGPT 可以通过使用医学文本进行训练并访问更多实时医疗数据来提高其性能。我们已经能够看到AI 成功诊断出 17 名医生未能识别的疾病，所以几年之内AI变得比一些医生更能干也不是没有可能。