首页 > 技术文章 > GNN起步 ?—— GCN的过平滑问题

xiyoushumu 2021-07-23 12:13 原文

GCN模型无法像视觉任务中的CNN模型一样堆叠很深,一旦使用多层GCN开始学习,相关的任务效果就会急速下降。

使用多层GCN后,节点的区分性变得越来越差,节点的表示向量趋于一致,这使得相应的学习任务变得更加困难。我们将这个现象成为多层GCN的过平滑问题。

如果从空域视角理解过平滑问题:

从空域来看,GCN的本质是在聚合邻居信息,对于图中的任意结点而言,结点的特征每更新一次,就聚合了更高一阶邻居节点的信息。对于图中任意节点而言,节点的特征每更新一次,就多聚合了更高一阶结点的信息。如果我们把最高邻居结点的阶数称为该节点的聚合半径,我们可以发现,随着GCN层数的增加,节点的聚合半径也在增长,一旦达到某个阈值,该节点覆盖的节点几乎与全图节点一致。同时,如果层数足够多,每个节点能覆盖到的结点会收敛到全图节点,这与哪个节点是无关的。这种情况的出现,会大大降低每个节点的局部网络结构的多样性,对于结点自身特征学习十分不利。

推荐阅读