摘要

本文介绍了一种名为“Intrinsic PAPR”的创新方法，用于从多视角RGB图像中进行点级别的3D场景反照率和阴影编辑。该方法基于最近的点基神经渲染技术Proximity Attention Point Rendering (PAPR)，直接对场景分解为反照率和阴影组件进行建模，从而实现更准确的估计。与依赖复杂阴影模型或简单先验的其他点基方法不同，Intrinsic PAPR不依赖于这些可能不普遍适用的模型，而是直接处理场景分解，提高了编辑的精确度和一致性。通过与最新的点基逆渲染方法的比较评估，Intrinsic PAPR在高质量的新视角渲染和点级别的反照率和阴影编辑方面表现出色。

原理

Intrinsic PAPR的核心在于利用PAPR技术，通过将点特征向量的维度分解为反照率和阴影两个正交组件，来直接建模场景的内在分解。每个点存储独立的反照率和阴影信息，同时保留所有局部场景细节，这对于后续的编辑应用至关重要。在渲染过程中，通过注意力机制计算每个点的贡献，并将其特征合并成特征图，然后通过U-Net渲染器生成最终的输出图像。这种方法的创新之处在于，它允许在点级别上进行详细的反照率和阴影编辑，同时确保编辑结果在不同视角下的一致性。

流程

Intrinsic PAPR的工作流程包括以下几个步骤：首先，利用预训练的图像内在分解模型提取每个视角下的场景图像的反照率，作为监督目标。然后，基于PAPR技术构建场景表示，其中每个点包含位置、特征向量和影响分数。在渲染时，从相机向每个像素发射光线，通过注意力机制计算每个点的贡献，并合并其特征生成特征图。最后，通过U-Net渲染器生成输出图像。具体示例可以参考图2，展示了整个渲染管道的概览。

应用

Intrinsic PAPR的应用前景广泛，特别是在需要高精度3D场景编辑的领域，如电影制作、游戏开发和虚拟现实。该方法能够实现点级别的反照率和阴影编辑，这对于创建逼真的虚拟环境和增强用户体验至关重要。随着技术的进一步发展和优化，预计Intrinsic PAPR将在这些领域发挥更大的作用。