摘要

本文介绍了一种名为MimicMotion的高质量人体运动视频生成框架，该框架通过置信度感知姿态引导和渐进式潜在融合策略，能够生成任意长度的高质量视频。文章针对视频生成中的可控性、视频长度和细节丰富度等挑战，提出了一系列创新方法，包括置信度感知的姿态引导、基于姿态置信度的区域损失放大以及渐进式潜在融合策略，以确保视频帧质量高且时间平滑。实验结果和用户研究表明，MimicMotion在多个方面显著优于现有方法。

原理

MimicMotion的核心在于其置信度感知的姿态引导和渐进式潜在融合策略。置信度感知的姿态引导通过引入姿态序列表示中的置信度概念，实现了更好的时间平滑性和图像畸变的缓解。基于置信度的区域损失放大策略则通过增强高置信度区域（如手部）的损失权重，显著减少了图像畸变。渐进式潜在融合策略通过在去噪过程中逐步融合重叠帧的潜在特征，实现了长视频生成的同时保持帧间平滑过渡。这些技术的结合使得MimicMotion能够在生成高质量视频的同时，保持视频的连续性和自然性。

流程

MimicMotion的工作流程包括数据准备、姿态引导视频扩散模型训练和长视频生成三个主要步骤。首先，从包含各种人体运动的视频数据集中提取参考图像、视频帧序列和相应的姿态信息。然后，利用预训练的图像到视频模型进行训练，通过引入置信度感知的姿态引导和区域损失放大策略，优化模型性能。最后，在推理阶段，采用渐进式潜在融合策略生成任意长度的平滑视频。例如，在生成舞蹈视频时，模型能够根据提供的姿态序列和参考图像，生成连续且细节丰富的高质量视频。

应用

MimicMotion的应用前景广泛，尤其在娱乐、虚拟现实、电影制作和广告等领域。其能够生成高质量、连续性好的人体运动视频，为内容创作者提供了强大的工具。此外，随着技术的进一步发展，MimicMotion有望在教育、医疗和体育分析等领域发挥重要作用，通过生成逼真的人体运动视频，辅助教学和训练。