Generating face images from fine-grained sketches based on GAN with global-local joint discriminator

基于GAN的全局-局部联合判别器从细粒度的草图中生成人脸图像

摘要

本文探讨了从微粒度草图生成具有清晰细节的人脸图像的问题。在人脸图像生成任务中通常使用边缘图作为草图。然而 存在一些问题，如不连续的线条和缺乏 边缘图中的详细信息，因此生成的人脸图像不够清晰，缺乏细节。为了解决这个问题，我们制作了具有丰富细节的人脸素描数据集。鉴别器 结合了一个全局判别器和一个局部判别器，从而 确保生成的人脸图像有一个完整的人脸结构，并生成更清晰的人脸细节。一个自我注意的机制以建立对部分特征信息的长期依赖关系。

引言

目前的两个主要问题：

1：在一对一对应关系的数据库中，缺乏具有丰富细节的高质量面部素描和面部图像。

2：存在一个问题，即草图与人脸图像不相似，也就是说，生成的人脸图像不能很好地显示草图中的人脸图像。

方法

1：生成器

这个模型的生成器网络结构与带有剩余模块的Unet[20]相似。其中，生成器的编码器接收一个大小为512*512的草图，而不是传统GAN输入的随机噪声。在编码器和解码器的相应层之间加入跳过连接。在每层之后使用ReLU激活函数，并在输出层之前添加了一个自我注意模块。自我注意模块计算一个 位置的响应作为前一层提出的特征图中所有位置的加权和，使不同部分之间的长期不同部分之间的依赖关系。

2：监督器

该模型的判别器 结合了一个全局判别器和一个局部判别器。 它确保生成的人脸图像具有完整的 脸部结构，并生成更清晰的脸部细节。通过将生成的人脸图像分为四个区块，然后将与真实图像相对应的部分送到局部判别器。 局部判别器可以使生成器在合成局部细节时表现得更好。对于制约 对于整个脸部结构的约束，使用了一个全局判别器，其中 最后一层的感受野与整个图像的大小相同。