摘要

本文介绍了一种名为CaFNet的新型两阶段端到端可训练网络，用于结合RGB图像和稀疏雷达点云数据进行密集深度估计。该方法特别适用于自动驾驶领域，通过解决雷达数据特有的挑战，如模糊的仰角和噪声测量，提高了深度估计的准确性和可靠性。CaFNet通过预测雷达置信度图和初步粗略深度图，以及创新的置信度感知门控融合机制，有效地整合了雷达和图像特征，从而在nuScenes数据集上显著提升了性能，特别是在Mean Absolute Error (MAE)和Root Mean Square Error (RMSE)指标上。

原理

CaFNet的工作原理基于两阶段深度学习架构。第一阶段，网络通过处理雷达数据和RGB图像，预测雷达置信度图和粗略深度图。这一阶段的关键创新在于生成雷达置信度图的真实值，该方法通过将每个雷达点与其对应物体关联，识别潜在的投影表面。第二阶段，利用置信度感知门控融合（CaGF）机制，结合雷达和图像特征，通过考虑每个雷达像素的置信度分数，有效地过滤雷达噪声，生成最终的密集深度图。这种融合技术通过多尺度特征的融合，提高了深度估计的准确性和鲁棒性。

流程

CaFNet的工作流程包括两个主要阶段。在第一阶段，网络使用ResNet-34和ResNet-18作为编码器，分别处理RGB图像和雷达数据。通过稀疏卷积模块（SCM）处理雷达数据后，网络生成雷达置信度图和粗略深度图。在第二阶段，网络将置信度精炼的深度图与原始雷达输入结合，再次通过ResNet-18编码器处理，最终通过BTS-like解码器和CaGF机制生成密集深度图。整个过程通过端到端训练，确保了深度估计的连续性和准确性。

应用

CaFNet的应用前景主要集中在自动驾驶和高级驾驶辅助系统（ADAS）中。通过提高雷达和相机融合的深度估计精度，CaFNet能够增强车辆对周围环境的感知能力，特别是在恶劣天气和复杂交通场景中。此外，该技术还可扩展到其他需要精确深度感知的领域，如机器人导航、增强现实和虚拟现实等。