摘要

本文介绍了一种创新的方法，用于建立严格且成本效益高的人工智能模型临床试验。该研究由国际开放基准委员会（BenchCouncil）主导，强调了在临床实践中对AI模型进行严格和成本效益评估的必要性。文章提出了一种双中心AI随机对照试验（DC-AI RCTs）和基于虚拟临床医生的体内试验（VC-MedAI），这些方法能够有效地替代传统的临床试验。通过在14个医疗中心进行的7500份诊断记录的试验，研究结果显示VC-MedAI在诊断决策上与人类临床医生表现相当，这表明这些方法能够为AI模型在临床实践中的评估提供一个类似临床前设置的环境，并以成本效益高和快速迭代的方式重塑发展范式。

原理

DC-AI RCTs和VC-MedAI的核心在于创新的双中心设计，即同时考虑患者和临床医生的需求。DC-AI RCTs通过精心设计的干预措施、混合单盲和双盲设计以及患者/临床医生为中心的控制，确保了试验的严谨性和实用性。VC-MedAI则通过模拟临床医生的诊断行为，提供了一个高效的体内试验平台，能够在没有实际临床试验的情况下，评估AI模型的性能。这两种方法的结合，不仅提高了评估的准确性，还大大降低了成本和时间。

流程

文章详细描述了VC-MedAI的工作流程，包括从患者队列中提取特征、AI推理、体内设置、特征嵌入、虚拟临床医生生成器和模拟器的使用，以及最终的诊断报告和反馈。例如，在第一阶段DC-AI RCTs中，使用了三种AI模型和两种控制方法，涉及2800名患者和125名临床医生。这些数据被用于构建VC-MedAI，随后在第二阶段中，一个新的AI模型被用来评估VC-MedAI的性能。整个流程展示了如何通过模拟和实际试验相结合的方式，有效地评估AI模型在临床环境中的应用。

应用

DC-AI RCTs和VC-MedAI的应用前景广阔，它们不仅能够加速AI模型在医疗领域的验证和部署，还能够降低临床试验的成本和风险。这些方法的推广将有助于推动AI技术在医疗实践中的广泛应用，特别是在需要快速决策和高度个性化的治疗方案中。此外，这些方法还能够为全球范围内的医疗资源分配提供数据支持，特别是在资源有限的环境中。