Neural Probabilistic Graphical Model for Face Sketch Synthesis

人脸草图合成的神经概率图形模型

摘要

神经网络学习用于从照片中合成人脸草图，由于其有利的合成性能而引起了人们的极大关注。然而，大多数现有的基于深度学习的人脸草图合成模型仅由多个卷积层堆叠而成，没有结构化回归，往往失去了常见的面部结构，限制了它们在广泛的实际应用中的灵活性，包括智能安全和数字娱乐。在这篇文章中，我们将神经网络引入概率图形模型，并提出了一个基于神经概率图形模型（NPGM）的新型人脸合成框架，该模型由一个特定结构和一个共同结构组成。在特定结构中，我们研究了一个神经网络来映射训练照片和草图之间的直接关系，产生测试照片的特定信息和特征。在共同结构中，我们考虑了由特定结构生成的草图像素与从训练数据中选出的候选像素之间的保真度，以确保保留草图的特征。

模型构建

基于NPGM的人脸草图合成框架，包括具体结构和通用结构。以一只眼睛的合成过程为例，我们将其划分为四个重叠的斑块x。利用该结构生成眼睛草图像素{z(1)1, z(1)2, z(1)3, z(1)4}，并通过NPGM将其融合到眼睛草图补丁{y(1)1, y(1)2, y(1)3, y(1)4}中。普通结构首先从训练数据中搜索生成的眼部草图补丁{y(1)1, y(1)2, y(1)3, y(1)4}和测试眼部照片补丁{x1, x2, x3, x4}的候选对象，然后用概率图形模型综合初始眼部草图补丁{y(2)1, y(2)2, y(2)3, y(2)4}。然后，从训练数据中搜索生成的眼部草图补丁{y(1)1, y(1)2, y(1)3, y(1)4}，测试眼部照片补丁{x1, x2, x3, x4}和初始眼部草图补丁{y(2)1, y(2)2, y(2)3, y(3)4}，通过级联概率图形模型合成最终眼部草图补丁{y(3)1, y(3)2, y(3)3, y(3)4}。

特定结构

特定结构的目的是建立一个结构化回归和生成特定的信息只包含在测试人脸照片是一个无向概率图形形式的嵌入神经网络。该神经网络建立了表征人脸照片补丁与素描像素之间关系的直接映射，该映射对应于照片补丁的中心，并能发现测试照片的特征。

普通结构

前一种结构在测试人脸照片中产生特定的信息，而在训练素描-照片对中不产生，但它忽略了公众常见的面部结构。因此，公共结构的任务就是以测试照片补丁x和生成的草图补丁y(1)为条件，合成具有公共面部信息的初始草图补丁y(2)。

算法流程

输入:训练照片X‘，训练草图Y’，测试照片X，

1.根据训练良好的多元高斯模型，相似切块数K;根据训练良好的多元高斯模型和合成具有特定信息的草图像素z;

2.将生成的草图像素z融合到特定结构生成的草图补丁y1中;

3.将训练照片X‘，训练草图Y’，测试照片X分成小块;

4.对于X中的每个测试照片补丁xi，执行:

​ 4.1搜索K个相似的补丁{xi,1，…， xi,K}与测试照片补丁xi从训练照片补丁中找到对应的补丁{yi,1，…， yi,K}来自训练草图补丁;

​ 4.2收集K个相似补丁{yi,K +1，…， yi,2K}，从训练草图补丁中生成草图补丁y(1)i，并找出它们对应的补丁{xi,K +1，…， xi,2K}来自训练照片补丁;

​ 4.3计算矩阵W‘;

​ 4.4重构初始草图patch y(2)i;

​ 4.5找到K个相似的补丁{yi,2K +1，…， yi,3K}及其对应的补丁{xi,2K +1，…， xi,3K}到训练草图和照片补丁的初始草图补丁y(2)i;

​ 4.6计算矩阵W;

​ 4.7重构最终草图补片y(3)i;

5.缝合最终草图补丁{y(3)1，…， y(3)N}通过重叠区域的平均得到最终草图y(3);输出:最终草图y(3)。