摘要:图神经网络作为一种基于深度学习的强大的图表示技术,表现出了优越的性能,引起了广泛的研究兴趣。然而,对于包含不同类型节点和链接的异构图,在图神经网络中还没有充分考虑到这一点。异构性和丰富的语义信息给异构图神经网络的设计带来了巨大的挑战。最近,深度学习中最令人兴奋的进展之一是注意力机制,它的巨大潜力已经在各个领域得到了很好的展示。本文首先提出了一种基于分层注意的异构图神经网络,包括节点级注意和语义级注意。具体而言,节点级注意的目的是了解节点及其基于元路径的邻居之间的重要性,而语义级注意的目的是了解不同元路径之间的重要性。通过从节点级和语义级注意中学习到的重要性,可以充分考虑节点和元路径的重要性。然后,该模型通过分层方式聚合基于元路径的邻居的特征生成节点嵌入。在三个真实的异构图上的大量实验结果不仅显示了我们提出的模型优于先进水平的性能,而且还证明了它在图分析方面潜在的良好解释性。
网络结构:
整体框架如上,首先通过节点级注意力学习基于元路径的邻居的权重,聚合它们得到特定语义的节点嵌入,然后通过语义级注意力将所有元路径加权得到节点的最优加权组合。元路径就是连接两个对象的复合关系,是一种广泛应用的捕捉语义的结构,节点级注意力的目的是学习基于元路径的邻居的重要性,并分配不同的注意力值,语义级的注意力就是要得到元路径的重要性,并赋予它们适当的权重。由于节点的异质性,不同类型的节点具有不同的特征空间,我们会使用一个特定类型的转换矩阵将节点的特征转换到同一特征空间,在进行节点级注意力时会重复k次再拼接所学到的嵌入向量。
实验:作者在ACM,DBLP和IMDB三个数据集上进行了实验,验证了该网络与其他方法相比下的有效性,且分别测试了两个变体的HAN网络,来验证节点级注意力和语义级注意力的有效性,实验证明同时实行两种注意力机制的效果更好。
作者还行了聚类任务来评估上述算法学习到的嵌入,发现HAN的性能始终比所有baseline要好得多,表明通过对节点和元路径分配不同的重要性,所提出的HAN可以学习更有意义的节点嵌入。
作者为了直观的比较,进行了可视化的任务,结果看出在多元路径的引导下,HAN学习的嵌入具有较高的类内相似性,将不同研究领域的作者以明显的边界分隔开。