Deep-Motion-Net:革命性的图神经网络技术,实现单一X射线图像的3D器官形状重建

Deep-Motion-Net: GNN-based volumetric organ shape reconstruction from single-view 2D projections

摘要

本文介绍了一种名为Deep-Motion-Net的创新方法,该方法利用图神经网络(GNN)从单一的任意角度2D X射线图像中重建3D(体积)器官形状。在放射治疗过程中,准确估计和补偿真实解剖运动对于提高计划辐射剂量传递至目标体积同时保护风险器官至关重要。Deep-Motion-Net通过学习从kV图像中提取的深度特征到患者特定模板网格的回归映射,实现了这一目标。该模型在合成呼吸运动场景和实际治疗图像上进行了定量和定性测试,显示出高精度的预测能力,为实时适应性放射治疗提供了新的可能性。

原理

Deep-Motion-Net的核心是一个端到端的图神经网络架构,它包括一个2D卷积神经网络(CNN)编码器和四个特征池化网络(FPNs)。CNN编码器从输入的kV X射线图像中提取图像特征,而FPNs则将这些特征融合到3D模板器官网格中。随后,基于ResNet的图注意力网络(GAT)对特征编码的网格进行变形。该模型通过合成生成的器官运动实例和相应的kV图像进行训练,这些图像是通过对参考CT体积进行变形并生成数字重建放射图像(DRRs)来创建的。Deep-Motion-Net的先进性在于其能够从任意投影角度的单一图像中重建3D器官形状,这是通过学习投影角度依赖的特征并将其编码到输入图像的额外通道中实现的。

流程

Deep-Motion-Net的工作流程包括以下几个关键步骤:首先,2D-CNN编码器从输入的kV X射线图像和相应的投影角度中提取语义特征。然后,四个可学习的特征池化网络将这些特征附加到患者特定模板网格的适当顶点上。最后,基于图注意力的网络预测相应的网格变形。整个模型通过一系列特征池化网络实现端到端训练,消除了非训练组件的需求。该流程不仅适用于固定投影角度的图像,还能处理任意角度的图像,从而在放射治疗中实现更灵活的应用。

应用

Deep-Motion-Net的应用前景广阔,特别是在适应性放射治疗领域。该技术能够实时估计和补偿器官运动,从而提高放射治疗的精确度和安全性。此外,Deep-Motion-Net无需额外的传感器或侵入性标记物,仅依赖于常规的kV X射线图像,这使其在临床实践中具有高度的可行性和成本效益。随着进一步的研究和开发,该技术有望在肿瘤治疗中发挥重要作用,提高治疗效果并减少副作用。