摘要

本文介绍了一种名为V-VIPE（Variational View Invariant Pose Embedding）的新方法，用于从二维图像中学习三维人体姿态的表示。该方法通过将三维姿态估计问题分解为两个步骤来解决：首先，使用变分自编码器（VAE）学习一个表示三维姿态的规范坐标空间嵌入；然后，学习从不同相机视角的二维姿态映射到这个嵌入空间。V-VIPE的先进性在于其能够处理不同相机视角下的姿态估计，并且能够应用于多种下游任务，如姿态检索和分类。此外，V-VIPE还能够从嵌入中估计三维姿态，甚至生成未见过的三维姿态。

原理

V-VIPE的核心工作原理是通过VAE学习一个规范坐标空间的三维姿态嵌入，该嵌入对相机视角变化具有不变性。VAE的编码器部分将三维姿态映射到一个潜在空间，而解码器则从该潜在空间重构三维姿态。通过这种方式，V-VIPE能够确保相似的三维姿态在嵌入空间中彼此接近，并且能够泛化到未见过的三维姿态。此外，V-VIPE还引入了一个二维姿态编码器，该编码器将二维姿态映射到三维姿态嵌入空间，从而实现从二维图像到三维姿态的估计。

流程

V-VIPE的工作流程包括三个主要步骤：数据预处理、三维姿态VAE网络和二维映射网络。在数据预处理阶段，对输入图像进行全局旋转调整和关键点缩放，以确保输出不受相机视角影响。三维姿态VAE网络通过编码器和解码器学习三维姿态的嵌入空间。二维映射网络则将二维姿态映射到这个嵌入空间，并通过预训练的解码器估计相应的三维姿态。具体示例包括从不同相机视角的二维图像中估计三维姿态，以及通过添加噪声到嵌入空间来生成新的三维姿态。

应用

V-VIPE的应用前景广泛，包括但不限于动作识别、机器人模仿学习、三维姿态检索和生成。由于其对相机视角的不变性，V-VIPE特别适用于需要处理多视角数据的场景，如增强现实（AR）和虚拟现实（VR）应用。此外，V-VIPE的嵌入空间还能够支持高级任务，如动作分割和检测，显示出在复杂环境中的强大潜力。