中文：学习生成表达几何和语义的线条图
摘要
本论文提出了一种非配对方法从图片中生成线条图。当前的方法通常是依靠高质量的配对数据集来生成线条图。然而，这些配对的数据集经常受限于绘画的主题属于一个特殊的属性域或者收集数据集的规模。尽管最近的无监督图像到图像的转换工作取得了很大进展，但最新的方法仍然难以生成令人信服的线条图。
我们观察到线条图是场景信息的编码，并且线条图试图传达3D形状和语义。于是，我们将这种观察构建成一系列的对象并训练一个图像翻译器把图片映射成线条图。我们引入了一种几何损失和语义损失，前者从线条画的图像特征中预测深度信息，后者匹配线条画与其对应的照片在CLIP模型中的特征。
在从任意照片创建线条画方面，我们的方法优于最先进的未配对图像转换和线条画生成方法。
方法
目标：训练一个模型，在给定照片数据集和未配对的线条图数据集的情况下自动生成任意照片的线条图。
主要特点：除了Style Loss、Content Loss外，引入了一个几何学损失和语义损失，且不需要线条图的标签
简要细节：
- 图片属性域（特征空间）为A，草图特征空间为B
- Ga负责学习从A到B的映射，Gb负责学习从B到A的映射。其中，Ga,Gb为两个GAN网络，具体为pix2pixHD
- Da判别器计算Gb(Ga(a))和a之间的外观损失，Db判别器计算Ga(a)和风格标签s之间的风格损失
- 预训练一个OpenAI的CLIP模型，计算Ga(a)和a之间在CLIP模型中高维特征空间的语义损失
- 预训练一个深度预测网络Depth，计算Depth(a)和Depth(Ga(a))之间的几何损失
完整损失函数：
效果
效果图
模型比较
消融实验
