上周的一篇文献综述显示,62个高质量的医学 AI 模型没有一个可以从学术研究转化为临床实践。现在有一项类似但独立的研究证实了希望破灭的深度。
第二个练习背后的研究人员在《科学转化医学》中报告了他们的发现,发现只有 23% 的医疗保健机器学习研究可以使用不同的数据集进行重现。
相比之下,80% 的计算机视觉研究和 58% 的 NLP 研究具有这种概念可重复性。
同样令人困惑的是,医疗论文中 55% 的机器学习使用公共数据集并提供其代码。计算机视觉和 NLP 在这些分数上的得分均接近 90%。
“医疗保健是机器学习研究的一个特别具有挑战性的领域,因为许多数据集由于健康隐私问题而受到限制,甚至专家可能对扫描或患者的诊断意见不一,”自由记者 Megan Scudellari 写道。“不过,研究人员对该领域可以做得更好感到乐观。”