摘要

本文介绍了一种名为CRiM-GS的新型连续刚体运动感知高斯喷射方法，旨在从运动模糊图像中重建精确的3D场景，并实现实时渲染速度。该方法考虑了实际相机在曝光时间内由于相机移动导致的复杂运动模式，通过神经常微分方程（ODEs）预测相机的连续运动。具体而言，利用刚体变换来模拟相机运动，并通过适当的正则化保持物体的形状和大小。此外，引入了一个连续的可变形3D变换在SE(3)场中，以适应刚体变换到现实世界问题的需求，确保更高的自由度。通过重新审视基本的相机理论并采用先进的神经网络训练技术，实现了对连续相机轨迹的精确建模。实验结果表明，该方法在基准数据集上实现了最先进的性能，无论是在定量还是定性上。

原理

CRiM-GS方法的核心在于通过神经ODEs连续地模拟相机在曝光时间内的运动轨迹。首先，使用刚体变换来模拟相机的运动，这种变换通过正则化保持了物体的形状和大小。其次，考虑到现实世界图像中包含的复杂和非线性相机运动信息，引入了可学习的可变形3D变换在SE(3)场中，以纠正实际图像采集过程中可能出现的物体畸变。最后，通过神经ODEs将这两种变换方法集成，连续地模拟3D空间中的相机轨迹。这种方法与现有方法的根本区别在于，它是在3D而非2D空间中连续模拟相机轨迹。CRiM-GS模型通过使用3DGS（一种基于可微分光栅化的方法）来确保实时渲染速度，而不是基于光线的方法（如NeRF和TensoRF）。

流程

CRiM-GS的工作流程包括以下几个关键步骤：首先，输入包含图像索引和初始相机姿态信息。然后，CRiM-GS通过迭代求解ODE，使用编码的图像索引和神经导数，获得N个变换后的相机姿态。接着，通过3D-GS渲染N幅图像，并通过像素级的加权和生成最终的模糊图像。整个框架如图2所示。

应用

CRiM-GS方法的应用前景广泛，特别是在需要从模糊图像中重建3D场景的领域，如增强现实（AR）和虚拟现实（VR）。此外，该方法还可以应用于视频处理、动态场景分析等多个领域，为处理相机运动模糊问题提供了一个高效且精确的解决方案。