摘要

本文介绍了一种名为BiCo-Fusion的新型双向互补LiDAR-相机融合框架，用于实现语义和空间感知的3D物体检测。该框架通过融合多模态特征，增强LiDAR特征的语义和相机特征的空间感知能力，并自适应地从两种模态中选择特征，构建统一的3D表示。BiCo-Fusion包括预融合（Pre-Fusion）和统一融合（Unified Fusion）两个阶段，通过实验证明了其在nuScenes基准测试中的优越性能。

原理

BiCo-Fusion的工作原理基于双向互补策略，通过预融合（Pre-Fusion）和统一融合（Unified Fusion）两个阶段实现。在预融合阶段，使用体素增强模块（VEM）和图像增强模块（IEM）分别增强体素特征的语义和图像特征的空间特性。VEM通过将非空体素投影到图像平面并提取周围相机特征来增强其语义，而IEM则通过将LiDAR的真实深度与相机特征融合来增强其空间感知。这两个模块通过双向更新，有效减少了模态间的差距。在统一融合阶段，通过自适应权重选择从增强的LiDAR和相机特征中构建统一的3D表示。

流程

BiCo-Fusion的工作流程如下：首先，从LiDAR和RGB相机数据中提取特征。然后，在预融合阶段，通过VEM和IEM对LiDAR体素特征和相机特征进行双向互补增强。接着，在统一融合阶段，将增强的相机特征提升到3D体素空间，并与增强的LiDAR体素特征进行自适应融合。最后，将融合的体素特征转换为BEV空间，并通过卷积编码器和检测头进行最终的3D物体检测。

应用

BiCo-Fusion框架在自动驾驶和机器人领域具有广泛的应用前景。其能够有效融合LiDAR和相机数据，提高3D物体检测的准确性和鲁棒性，适用于复杂环境下的物体识别和定位任务。随着自动驾驶技术的进一步发展，BiCo-Fusion有望成为多模态传感器融合的关键技术之一。