《Hierarchical Graph Pooling with Structure Learning》阅读笔记
文章目录
- 《Hierarchical Graph Pooling with Structure Learning》阅读笔记
- 前言
- 一、解决了什么问题？
- 二、解决方法（模型）
- 1.模型概述
- 2.符号定义
- 3.图卷积层
- 4.池化层
- 1).图池化
- 2).学习新结构
- 5.读出层
- 三、实验结果
- 数据集
- 对比试验
- 消融实验
- 参数敏感性实验
- 可视化
- 总结
前言
本文章仅用于帮助自己回顾本篇文章，如有理解不到位之处，还请各位大佬指正。
论文链接：https://arxiv/pdf/1911.05954.pdf
代码链接：https://github/cszhangzhen/HGP-SL
一、解决了什么问题？
丰富了图池化方向的方法。
现在的层次池化方法大概分为两种：
1.节点聚类。根据分配矩阵，把节点分配到不同的簇中以完成池化。作者认为这类方法的计算代价比较高。
2.节点采样。根据节点的得分情况，保留排名前k个节点，其他的则直接舍弃。作者认为这类方法或许不能保留关键的子结构甚至不能保证拓扑信息的完整性。
二、解决方法（模型）
1.模型概述
该模型由卷积层、池化层以及读出层组成。本文的创新点即在子图的原拓扑结构上进行修正，得到新的拓扑结构（邻接矩阵）。大概的意思可以对比图中HGP-SL层中的两个子图，后面一幅图中的虚线即是本文的创新点。
2.符号定义
3.图卷积层
实验采用了GCN模型(Kipf and Welling 2017)，当然也可以使用其它的图卷积框架。
GCN的公式比较简单，这里不做过多的叙述。
4.池化层
这一层实现两个功能：首先是从原图中抽取部分节点组成子图（依据文中所说的node information score）；然后根据这个子图学习出该子图最终的邻接矩阵。
1).图池化
抽取子图。
本文定义节点与其邻居节点之间的曼哈顿距离为该节点的node information score。
根据node information score对节点进行排序，保留得分靠前的几个节点（具体保留数目与池化率有关），构成下一层的特征矩阵以及未修正的邻接矩阵。
2).学习新结构
修正子图拓扑结构。
作者设计该结构的目的是防止原图中相关度比较高的节点在子图中出现不连通的情况，丢失了完整的结构信息，进一步阻碍信息的传递过程。
具体步骤如下所示：
首先，通过注意力机制计算子图中两个节点之间的相似度。
公式右侧第一个式子主要是用于学习不相连的节点之间的关系；第二个式子则是在一定程度上加大相连节点之间得分。
然后，作者考虑了softmax和sparsemax两个函数来做边权值的归一化。
由于softmax的结果均为非零值，这样就构成了一个全连接图，会引入很多的噪声，因此没有采用该函数。
文章采用了sparsemax函数来做归一化，即保留了最重要的边又能保证稀疏性。
其中[x]+ = max{0, x}。
算法的流程如下：
这里提供一个torch版本的代码地址：https://github/KrisKorrel/sparsemax-pytorch
通过上述的步骤后，子图的邻接矩阵被修正为S。由于这是归一化后的矩阵，故每行的加和为1。因此其对角阵D就是单位阵，于是有了下面两个公式：
5.读出层
聚合子图中所有节点的特征作为该层子图的整体特征。这里作者简单的把mean-pooling和max-pooling后的向量拼接作为整体特征。
最后将每一层子图的整体特征加和作为原图的全局特征，用于图分类任务。
三、实验结果
数据集
对比试验
性能提升还是挺不错的。HGP-SLDEN的性能较差的原因是全连接引入了噪声；HGP-SLHOP的性能差的原因是不连通的节点在h跳之后仍然是不连通的。
消融实验
验证了structure learning(SL)即修正邻接矩阵的操作适用于多种信息传递框架；验证了将SL应用于其它的池化模型也能有效提升其性能。
参数敏感性实验
可视化
HGP-SL保留了原图中比较合理的拓扑结构信息。
总结
第一篇博客！
发布者：admin，转转请注明出处：http://www.yc00.com/web/1755048012a5233011.html
评论列表（0条）