Skip to content

Spatio-temporal modeling 论文列表(主要是graph convolution相关)

Notifications You must be signed in to change notification settings

KingWang93/spatio-temporal-paper-list

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

43 Commits
 
 
 
 
 
 

Repository files navigation

Spatio-temporal modeling 论文列表(主要是graph convolution相关)

应广大小伙伴建议,建了一个GCN交流群,感兴趣的小伙伴可以加群哇,比心~

图片名称

小白一枚,接下来希望在时空建模上有点见解,图是数据表示非常自然的方式,现在在处理图上数据的任务时常用network embedding的方法和的geometric model方法。network embedding初衷是把图上数据表示成张量形式,可以满足deep learning model的输入,但这种方法在学数据表示时存在信息压缩;后者则是修改模型,使得满足输入结构化,即输入数据保留图的形式。接下来打算在第二种思想上展开,保留图上数据的空间约束,同时有些图上数据是时间序列的,如路网上每时刻节点的流量速度等,如何对时间序列上的网络数据用deep model建模,保留空间约束是接下来的学习方向。

这里会整理些近期看的论文及简单描述(可能不准确),会持续更新,希望同样研究这个方向的小伙伴可以一起交流~

综述篇

关于非欧数据(主要就是图数据和流形数据)的深度学习的review

关于GCN领域的方法和应用的综述

方法篇

解释怎么处理图上的信号,通过图上拉普拉斯矩阵特征值的smooth性质类比傅立叶系数,利用特征向量做图上傅立叶变换,解释如何做图上的卷积,滤波运算。

把图上的CNN extend 到graph上,提出空间和spectral两种方法,空间上每层有几个cluster,学习相邻层节点之间的权重。Spectral用上文中拉普拉斯矩阵的特征向量变换到谱域,通过谱域的点乘再做傅立叶逆变换得到卷积的结果,学习参数O(n)个,没有显示的localize,且计算量较大。

用小波变换代替傅立叶变换实现图卷积。小波变换相对于傅立叶变换具有局部性,稀疏性和可解释性的性质,这些使得应用小波变换的图卷积神经网络更加高效,也满足了localize性质。

图上小波变换的一些理论知识,包括如何加速计算,licalize的性质保证等。

在上一篇的基础上希望减少参数,类比图像上CNN的局部连接,希望定义的kernel只在节点和它的近邻之间产生联系,定义interpolation kernel作用在要学的参数上。另外这篇文章还提出建图的方法,某些具有相互联系的数据却并不存在自然的图,构图方法有unsupervised graph estimation和supervised graph estimation。

包括两个部分工作,一个就是用多项式kernel,降低参数,并且拉普拉斯矩阵K次方上,两点最短路径大于K,则取值为0 的性质保持localize,并用切比雪夫多项式近似来加速,且省掉拉普拉斯矩阵特征分解的步骤。另外提出pooling的方法,通过添加fake node贪心的将所有节点组织成二叉树,在树上做pooling。

对上文的方法作了进一步简化,首先把多项式kernel的项控制在两个,并且约束两个参数值相同,主要是在citation网络的节点分类上,训练时每一类有20个带标签数据,共7个类,预测时结果显著比原来方法好

利用雷达降雨量预测,不同雷达之间有空间联系,同一个雷达的序列数据存在时间联系,用传统CNN刻画雷达间的联系,用LSTM刻画时间联系,把LSTM中参数和输入数据的矩阵乘法替换成卷积,使得同时建模空间和时间约束,虽然输入数据依旧是标准张量,但是把时间空间结合起来。

把时间数据和空间数据结合起来,方法有输入数据做完图卷积然后再输入LSTM,或者把LSTM中的矩阵乘法替换成图卷积。

Structured Sequence Modeling with Graph Convolutional Recurrent Networks中的方法的应用,对其中Defferrard的k阶切比雪夫图卷积进行了替换,使用了Teng et al., 2016的图上随机游走的平稳分布的闭式解,定义了扩散卷积(Diffusion convolution),使用前一篇论文中的模型2,用GRU构造了DCRNN(DCGRU),对道路传感器网络上下一时刻的速度预测,取得了state of the art的表现。

分子是原子及连边的图,任务是预测分子的属性,把原始方法中的hash函数替换成用一层neural network学一个smooth的function,利用hash结果取余找index的过程替换成softmax。输入是图的形式,但是处理方法和上面论文不太一样。

使用Kipf & Welling 2017的近似谱图卷积得到的图卷积作为空间上的卷积操作,时间上使用一维卷积对所有顶点进行卷积,两者交替进行,组成了时空卷积块,在加州PeMS和北京市的两个数据集上做了验证,取得了不错的效果。

使用图卷积处理动作识别。以人体骨骼的关节为图的顶点,以人体的躯干为边,将连续的时间片上相同的关节连接起来,构造三维的时空图结构。通过卷积在图像上的定义,类比出卷积在图上的定义,对顶点的邻居进行子集划分,每个子集与对应的权重相乘,得到时空图卷积的定义。使用Kipf & Welling 2017的公式进行实现。

下面几篇在处理dynamic graph,把传统CNN与图上CNN统一起来

Kipf & Welling的方法使用的是一阶邻居,作者在本文中利用邻接矩阵的k次幂,提出了k阶邻居的图卷积方法。将k阶邻接矩阵与顶点特征矩阵拼接,与权重矩阵Q进行线性组合,构造出可以同时捕获顶点特征与图结构性质的自适应卷积核。在citation graphs上对顶点分类,以及在分子性质预测上进行了测试。

在卷积操作中融入了h-hop转移概率矩阵,通过对每个顶点计算该顶点到其他所有顶点的转移概率与特征矩阵的乘积,构造顶点新的特征表示,即diffusion-convolutional representation,表征顶点信息的扩散,然后乘以权重矩阵W,加激活函数,得到卷积的定义。在顶点分类和图分类上做了测试。作者提到的模型缺陷是空间复杂度高,以及模型不能捕获尺度较大的空间依赖关系。

针对不同节点可能邻域范围不同,提出了Jumping Knowledge Network,分别采用了Concat、Max-Pooling、LSTM-Atten作为最后一层的aggregator,最后在Citeseer & Cora和Reddit上做实验验证

下面几篇还没有读

graph不具备平移不变性,这篇文章提出了一个统一的框架,给每个节点定义统一个数的weighting function,每个weighting function 把所有周围节点映射成一个表达,使得每个节点的局部结构虽然不同,但是weighting function作用后,个数相同,convolution kernel定义在weighting function上. 并且作者给出GCN 在框架下的解释,并给出mixture gaussian model作为weighting function。

应用篇

注:后续有不同研究领域的小伙伴,欢迎继续添加相应领域的paper~

交通预测

清华大学和高德地图合作的一项研究。作者采用了GCN+Seq2Seq的混合模型,提出了k-hop的类似拉普拉斯矩阵的邻接矩阵,完成了北京市二环线的多步的车速预测,并取得不错的效果。

分别采用ChebyNet和GCN两种方式,将图卷积网络应用在交通流短时预测上,同时采用迭代式进行多步预测,最终在PEMS上进行实验验证

  • Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting (AAAI 2019)

使用三个组件对时间序列上的近期、日周期、周周期三个模式进行建模,每个组件使用K阶切比雪夫图卷积捕获空间关系,使用一维卷积捕获时间关系,在K阶切比雪夫多项式展开的图卷积内融入了注意力机制来捕获空间动态性,在时间维上使用注意力机制让模型动态地捕获时间关系。在PeMS数据集上进行了实验。

About

Spatio-temporal modeling 论文列表(主要是graph convolution相关)

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published