Understanding and Resolving Performance Degradation in Deep Graph Convolutional Networks

1. 摘要

图卷积的操作可以分为两个部分，一为聚合邻接节点的信息(PROPagation）和映射操作(TRANsformation)。文中指出以往工作研究的是PROP这个操作上，认为性能下降的主要原因在于PROP过程中导致的过平滑和梯度消失问题，没人研究TRAN，此文探究了两个操作对具体任务的影响，发现TRAN对性能下降的影响比PROP大得多，然后通过观察TRAN操作对图卷积中的结点表征的影响，发现TRAN操作倾向于放大GCN中的结点方差，GCN越深，TRAN操作越多，结点方差越大，他们将其称为 variance inflammation。然后基于上面的实验他们提出了结点归一化(NodeNorm)。

2. 具体介绍

具体实验：搭建两个GCN的变体：①只由传播操作构成的P-GCN，②只由变换操作构成的T-GCN。然后研究不同的模型在不同的深度对指标的影响。 如图1所示

论文在Cora数据集上训练了三中不同层数的模型，分别为vanilla GCN（初代GCN）、P-GCN和T-GCN，模型层数从2到64层。可以发现T-GCN相对于GCN性能退化更为严重。64层T-GCN的精度降至0.4，而64层GCN的精度为0.6，相比之下P-GCNs精度为0.72。实验结果说明在GCN中变换操作对性能下降的影响显著超过了传播操作。

下面是作者通过观察结点表征的内部特征方差结果：

上图2中，可以发现T-GCN随着层数的加深，结点内部特征的方差确实越来越大，然后跟图1一起看就会想到能否通过对特征内部作归一化的方法来缓解GCN性能的下降。然后作者他们提出结点归一化操作。

结点归一化，看完作者的一系列操作，知道了它其实就是对结点内部的特征间作归一化。见下面的表述

下面是搭建的gcn使用结点归一化的结果：

可以发现：好像可以防止性能下降哈，但是说实话提不了指标。我在想，这是不是可以通过使用残差结构堆叠出来的深度GCN来解决。