第二十二届中国虚拟现实大会 (ChinaVR 2022)

64 / 2022-09-29 23:43:17

基于隐空间语义风格解耦的图像翻译

摘  要：我们提出了一种新的人脸跨域翻译方法，通过预训练StyleGAN的先验知识，将跨域和域内图像的语义和风格特征同时嵌入到解耦W隐空间中，同时解决了跨域和域内实例引导的图像翻译问题。同时，我们设计了两个新颖的损失函数，跨域图像W空间语义对齐损失和跨域图像语义风格混合损失，通过在W空间和图像空间对编码器解耦的语义风格信息施加约束，将编码器的输出空间与StyleGAN的W空间对齐。由于我们的编码器解耦的语义风格特征是高度解耦的，这就允许我们对语义风格隐空间的W向量进行多种编辑和操纵，实现对高维图像空间的生成和编辑。