28

斯坦福大牛Jure Leskovec:图神经网络研究最新进展(附PPT下载)

 4 years ago
source link: http://mp.weixin.qq.com/s?__biz=MzU1MTkwNzIyOQ%3D%3D&%3Bmid=2247491531&%3Bidx=1&%3Bsn=e72009d84459da6ebc722024b0cb86fb
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

昨日,除了刷屏的“双十一”与AAAI 开(放)奖(榜) 斯坦福大牛Jure Leskovec 正好到访清华, 学术君的朋友圈是 一片喜气洋洋呐……

Jure Leskovec 有多火,来张现场图瞅瞅……

bAFrMzE.jpg!web

Jure Leskovec有多厉害?

uMvqAzI.jpg!web

Jure Leskovec

图网络领域的大牛Jure Leskovec,是斯坦福大学计算机学院的副教授 ,也是图表示学习方法 node2vec 和 GraphSAGE 作者之一。

在谷歌学术搜索(Google Scholar)上,Jure拥有接近4.5万的论文引用数量,H指数为84。这意味什么?

在美国,研究型大学要获得永久教职的副教授,H指数一般为10到12,晋升为正教授则大约为18。成为美国科学院院士则一般在45以上,中位数是57。而Jure  84的H指数也就意味着他在人工智能研究领域占有举足轻重的地位。

近年来,深度学习领域关于图神经网络(Graph Neural Networks,GNN)的研究热情日益高涨,图网络已经成为2019年各大深度学习顶会的研究热点。GNN 处理非结构化数据时的出色能力使其在网络数据分析、推荐系统、物理建模、自然语言处理和图上的组合优化问题方面都取得了新的突破。但是,大部分的图网络框架的建立都是基于研究者的先验或启发性知识,缺少清晰的理论支撑。

在ICLR2019中,Jure Leskovec 团队的一篇力作,图神经网络到底有多厉害( How Powerful are Graph Neural Networks) ?提出了基于WL图同构测试的理论框架,为众多的GNN框架给出了精彩的理论分析,并提出了一个简单但强大的图网络框架 GIN(Graph Isomorphism Networks),同时验证了GIN在图分类任务上的卓越性能。这篇文章认为图神经网络在因果推理方面有巨大的潜力,有望成为 AI 的下一个拐点。

Jure在研究什么?

Jure在演讲中提到,图形领域的机器学习是一项重要而普遍的任务,其应用范围从药物设计到社交网络中的友情推荐。该领域的主要挑战是找到一种表示或编码图形结构的方法,以便机器学习模型可以很方便地利用它。

他介绍了图神经网络研究的最新进展,他们使用基于深度学习的技术,自动学习将图形结构编码为低维嵌入。他还介绍了图表示学习的 关键进展 ,包括图形卷积网络及其表示能力,探讨了它在Web级推荐系统、医疗保健、知识表示和推理方面的应用。

以下是该演讲的PPT节选。

IfQnqyV.jpg!web

深度学习工具箱是为简单的序列和网格而设计的,但并不是任何事物都可以表示为一个序列或一个网格。

我们怎样才能开发出更为广泛应用的神经网络呢?可以通过学习图像和序列的经典神经网络之外的新领域。

uIBNZr6.jpg!web

AvEVfmQ.jpg!web

6BruMz3.jpg!web

EJJniqm.jpg!web

f2uURfy.jpg!web

为什么这很难呢?

因为网络是复杂的!

  • 任意大小和复杂的拓扑结构(即没有像网格那样的空间局部性);

  • 无固定节点顺序或参考点;

  • 通常是动态的,具有多模态特征;

iuYJ3qF.jpg!web

图形神经网络

BV32qeq.jpg!web

aEZ7rmY.jpg!web

77rMbuq.jpg!web

Irqe6z3.jpg!web

2eAriyI.jpg!web

FzAryeB.jpg!web

qQVBRjv.jpg!web

fqUNzma.jpg!web

aIrUrmr.jpg!web

v2mQbur.jpg!web

GNNs的表现力如何?

理论框架:描述GNNs的判别力

  • 描述GNNs判别能力的上界;

  • 提出一种超级强大的GNNs;

  • 描述GNNs的辨别力;

关键点: 根子树

强大的GNN能够区分不同结构的根子树。

想法:如果GNN函数是内射的,GNN可以捕获/区分根子树结构;

定理:最具判别力的GNN使用内射多集函数进行相邻聚集;

如果聚合函数是内射的,则GNN可以完全捕获/区分根子树结构。

3imEzqR.jpg!web

maQ3uej.jpg!web

VZB7VfA.jpg!web

GNNs的重要性

1.GNNs能做两件事:

  • 学习如何从附近节点“借用”特征信息以丰富目标节点;

  • 每个节点可以有不同的计算图,网络也可以捕获/学习其结构;

2.可选择计算图:

  • 聚合不需要在所有邻近点间发生;

  • 可以对 邻近点 进行选择/抽样;

  • 在实践中获得巨大成效;

3.我们了解GNNs的失败案例:

  • GNNs无法区分同构节点;

  • 结构感知Vs位置感知。

QJNzym6.jpg!web

7BvUZvv.jpg!web

jIzYJbM.jpg!web

ZnQnyuy.jpg!web

Eze6nmf.jpg!web

eM3imia.jpg!web

简单介绍到这里,想要全部PPT?后台回复「 Jure 」就能收到。小编这么贴心,你不打算给个赞吗?

大家都在看:

自然语言处理顶会CoNLL 2019最佳论文揭晓!

ICCV2019 | 旷视提出轻量级目标检测网络ThunderNet

ICCV2019 | SinGAN: 从单幅图像学习生成模型,可应用于多种图像处理操作

点击阅读原文,查看 更多新闻


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK