Knowledge Distillation for Face Photo–Sketch Synthesis

知识提炼用于脸部照片合成

摘要

近年来，由于深度卷积神经网络的发展，特别是生成对抗网络（GANs）的发展，人脸照片-草图合成已经取得了重大进展。然而，由于缺乏训练数据（照片-草图对），现有方法的性能仍然有限。为了应对这一挑战，我们研究了知识提炼（KD）对训练神经网络进行人脸照片-草图合成任务的影响，并提出了一个有效的KD模型来提高合成图像的性能。特别是，我们利用一个在相关任务中的大量数据上训练的教师网络，分别学习人脸照片的知识和人脸草图的知识，并同时将这些知识转移到为人脸照片-草图合成任务设计的两个学生网络。除了吸收教师网络的知识外，两个学生网络还可以相互传递自己的知识，进一步提高学习效果。为了进一步提高合成图像的感知质量，我们提出了一个KD+模型，将GANs与KD相结合。该生成器可以在知识的指导下产生具有更真实的纹理和更少噪音的图像。

主要贡献总结如下。 1）我们提出了一个KD模型，将KD引入到人脸照片-草图合成任务中，该模型在训练数据不足的情况下显示出令人满意的性能。 2）我们设计了一个高效的网络架构，并探索了三种形式的知识转移损失，以有效地提炼和转移知识。 3）我们通过将GANs与KD结合起来研究KD+模型，以进一步提高合成图像的知觉质量。 4) 广泛的实验和用户研究证明了我们的模型比最先进的方法更有优势。

方法

我们模型中的KD与判别器无关，但它是由生成器中提出的三种形式的kt损失实现的。另一个区别是，上述方法中的知识是Logits或Logits之前最后一层的特征嵌入，但我们模型中的知识是中间特征。

A. KD for Face Photo–Sketch Synthesis

由于任务中缺乏成对的训练脸部照片-草图样本，我们无法训练出满意的网络。为了应对这一挑战，我们从一个为相关任务训练的大型准确的教师网络中提炼出知识。为方便起见，当教师网络被用来提炼人脸照片和人脸草图的知识时，我们将其分别表示为teacher-P和teacher-S。Stu-PtoS在teacher-P和teacher-S的指导下学习从照片到草图的映射函数。同样地，Stu-StoP在教师-S和教师-P的指导下学习从草图到照片的映射函数。此外，Stu-PtoS和Stu-StoP可以相互传递和巩固他们的知识，以提高他们的学习效果。我们探索了三种形式的知识转移损失：单向kt损失（如图1中紫色箭头所示），双向kt损失（如图1中橙色箭头所示），以及圆形定向损失（如图1中蓝色箭头所示）。单向kt损失迫使每个学生网络的中间特征通过L2损失模仿教师网络的中间特征，而双向kt损失迫使两个学生网络的中间特征相互模仿。受循环一致性损失的启发，我们提出了一个循环kt损失，迫使每个学生网络的中间特征（例如Stu-PtoS）的输入是由其他学生网络（如Stu-StoP）产生的合成图像（如合成照片），以模仿教师网络的中间特征。

为了提高合成图像的感知质量，我们通过将GANs与KD相结合来研究KD+模型。