第二十二届中国虚拟现实大会 (ChinaVR 2022)

37 / 2022-09-19 11:07:55

融合时间卷积网络的空间自适应运动风格迁移方法

为避免大量运动数据的采集，基于深度学习的人体运动风格迁移成为虚拟现实动画仿真中有效的解决方案。然

而，现有的方法要么依赖成对的运动数据集，要么依赖有监督的学习训练，从而加大了数据处理和训练的成本。 本文受

深度学习下的图像风格迁移启发， 通过参考先进的图像风格迁移网络处理方法， 提出一种融合时间卷积网络的空间自适

应运动风格迁移模型， 通过输入虚拟角色运动行为，生成不同的运动风格的运动序列。 首先从时序性和空间性考虑，设

计了以时间卷积网络为主干的神经网络框架， 从无配对的数据集中准确提取运动数据的内容特征和风格特征。 然后基于

空间自适应归一化方法，将其改进并适配到运动解码器中，提出了适用于运动风格迁移的自适应改进方法。最后针对运

动迁移中的误差， 在网络中引入正向运动学对沿运动链传递的关节误差进行约束，实现了对足部行为的约束。实验结果

表明，本文提出的模型可以有效实现多类非配对数据的风格迁移， 所生成的动画效果自然真实。