首页 > 技术文章 > GNN起步 ?——损失函数中的正则项的理解

xiyoushumu 2021-07-22 17:32 原文

在图的半监督学习任务中,通常会在相应的损失函数里面增加一个正则项,该正则项需要保证相邻结点之间的类别信息趋于一致,一般情况下,我们选用拉普拉斯矩阵的二次型作为正则约束:

L = L0+Lreg  

Lreg = f(X)TLf(X)

其中L表示模型的总损失,L0表示监督损失,Lreg 表示正则项,从学习的目标来看,这样的正则项使得相邻结点的分类标签尽量一致,这种物以类聚的先验知识,可以指导我们更加高效的对未标记的数据进行学习,从图信号的角度看,我们知道该正则项也表示图信号的总变差,减小该项表示我们期望经过该模型之后的图信号变得更加平滑。从频域上看,相当于对图信号做了低通滤波处理。

 

推荐阅读