第二十二届中国虚拟现实大会 (ChinaVR 2022)

11 / 2022-09-08 10:58:13

风格强度可变的人脸风格迁移网络

针对人脸风格迁移算法StarGAN、MSGAN等存在细节风格学习不佳、迁移效果单一、生成图像失真情况等缺点，提出一种能够降低失真并生成不同风格强度图像的人脸风格迁移算法MStarGAN 。首先，通过特征金字塔网络构建前置编码器，增强生成图像在风格传输时能学习到风格图像的细节风格；其次，使用前置编码器对原图像及风格图像各生成一个风格向量并进行组合，使生成图像具有不同的风格迁移强度；最后，采用权重解调算法作为生成器中的风格传输模块，消除特征图中的特征伪影，减少生成图像中的失真。模型采用Python实现并用RTX2080Ti在Celeba_hq数据集上进行实验，与MSGAN、StarGAN v2等对比算法相比，FID指标分别降低了18.9和3.1，LPIPS指标分别提升了0.094和0.018，并能够生成具有不同风格强度的结果图像。