1

AI论文"高引用转化率"排名出炉:OpenAI第一,旷视第二,谷歌位居第九 | 量...

 1 year ago
source link: https://www.qbitai.com/2023/03/42569.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

AI论文“高引用转化率”排名出炉:OpenAI第一,旷视第二,谷歌位居第九

head.jpg丰色 2023-03-06 12:30:40 来源:量子位

哪些机构或国家(地区)发表的AI研究是最具影响力的?

为了弄清这个问题,美国Zeta Alpha平台统计了2020-2022三年之间全世界引用次数前100的AI论文,得出了一些很有意思的结果。

14529771484e4eb0a9524b667320b82d~noop.image?_iz=58558&from=article.pc_detail&x-expires=1678681642&x-signature=wh5cMUV3%2BF94kboJptdGVGNgvVE%3D

“当红明星”OpenAI,在论文引用次数最多的机构中名列第9。

然而,在论文发表数量最多的机构榜单上,根本找不到它的名字。

再比如,来自工业界的谷歌Meta微软总是在各项数据都名列前茅,然而总的看下来,学术界也并没有落后工业界

此外,此前关于“中国AI研究的产出数量和质量可能超过美国”的观点在这份报告中似乎也被破解——

更多以及具体的数据,我们一个一个来看。

中国第二,OpenAI、DeepMind质量取胜

在具体分析之前,Zeta Alpha先统计出了2020-2022每年引用次数最多的论文,它们分别是:

2022年:

1、AlphaFold Protein Structure Database: Massively expanding the structural coverage of protein-sequence space with high-accuracy models

引用次数:1372
机构:DeepMind
主题:利用AlphaFold增加蛋白质结构数据库的覆盖范围

2、ColabFold: making protein folding accessible to all

引用次数:1162
机构:多家合作完成
主题:一种开源且高效的蛋白质折叠模型

3、Hierarchical Text-Conditional Image Generation with CLIP Latents

引用次数:718
机构:OpenAI
主题:DALL·E 2

4、A ConvNet for the 2020s

引用次数:690
机构:Meta和UC伯克利大学
主题:在Transformer繁荣时期成功实现CNN现代化

5、PaLM: Scaling Language Modeling with Pathways

引用次数:452
机构:谷歌
主题:谷歌的540B大型语言模型,一个新的MLOps范式,包含它的实现过程

2021年

1、Highly accurate protein structure prediction with AlphaFold

引用次数:8965
机构:DeepMind
主题:AlphaFold,利用深度学习进行蛋白质结构预测的巨大突破

2、Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

引用次数:4810
机构:微软
主题:ViT的强大变体

3、Learning Transferable Visual Models From Natural Language Supervision

引用次数:3204
机构:OpenAI
主题:CLIP

4、On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?

引用次数:1266
机构:美国华盛顿,Black in AI,The Aether
主题:著名的立场论文,对不断增长的语言模型的趋势持批评态度,强调了它们的局限性和危险

5、Emerging Properties in Self-Supervised Vision Transformers

引用次数:1219
机构:Meta
主题:DINO,揭示了图像的自监督如何导致Transformers中出现某种原型对象分割

2020年:

1、An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale

引用次数:11914
机构:谷歌
主题:第一个展示普通Transformer如何在计算机视觉领域中表现出色的作品

2、Language Models are Few-Shot Learners

引用次数:8070
机构:OpenAI
主题:GPT-3

3、YOLOv4: Optimal Speed and Accuracy of Object Detection

引用次数:8014
机构:中国台湾“中研院”
主题:YOLOv4

4、Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

引用次数:5906
机构:谷歌
主题:对Transformer的迁移学习进行了严格的研究,产生了著名的T5

5、Bootstrap your own latent: A new approach to self-supervised Learning

引用次数:2873
机构:DeepMind和帝国理工学院
主题:表明negative对于表征学习来说不是必需的

想必大家能从中找到不少“熟悉的面孔”。

接着,Zeta Alpha就对近三年的高引用论文背后的信息进行了一番分析。

首先是“每年论文引用次数进前100最多”的国家(地区)。

ed3eca9566de4c8cb9ebf84859a5472c~noop.image?_iz=58558&from=article.pc_detail&x-expires=1678681642&x-signature=ouX3rJBNykCnc7PbSATlz1VpG3k%3D

可以看到美国强势第一,中国与之的差距比较明显。

因此Zeta Alpha也认为,此前关于“中国在AI方面的研究可能超过美国”的说法至少在这项数据上是不成立的。

除此之外,新加坡和澳大利亚的排名也比较出人意料,分别为第五和第六。

“为了正确评估美国的主导地位”,Zeta Alpha又换了一种统计方式,计算引用次数前100的百分比

ee34b344d34a436a8e79a54158a2111e~noop.image?_iz=58558&from=article.pc_detail&x-expires=1678681642&x-signature=vJjPcTUjuuuIozBZ6Hjoclzg87A%3D

当然,美国仍然第一,但可以看到三年间的占比有所下降。

英国是中美以外最大的竞争对手,不过英国表现突出的2022年,其实主要都是由DeepMind贡献的(占比69%)。

接下来是按组织或机构评比论文引用次数进前100最多的个体。

1bc5890507da4264a7a019610513c1fe~noop.image?_iz=58558&from=article.pc_detail&x-expires=1678681642&x-signature=vtr%2FRSv9biX%2BEKavNem4%2FvaCeks%3D

不太意外,谷歌与Meta微软分列前三,随后是UC伯克利、DeepMind和斯坦福。

OpenAI也收获了一个还不错的名次,第九。第十是MIT,第十一是清华大学

尽管前三名选手都来自工业界,但是如果只按照机构类型来分,学术界和它的表现其实基本不相上下。

68d4e2901ebf4b909df2239a66987c99~noop.image?_iz=58558&from=article.pc_detail&x-expires=1678681642&x-signature=DQ70ByUs5FLq5oziA6hg41te4X8%3D

再接着,是过去三年各组织或机构发表的论文总数排名。

4f48f28f819c4ce582ebcb10f5b4cfbf~noop.image?_iz=58558&from=article.pc_detail&x-expires=1678681642&x-signature=JdMBkEb5J5rEBeTri25%2B6ShSxeM%3D

老大还是谷歌。第二名比较亮眼,是清华大学,随后是微软、CMU、MIT、斯坦福、UC伯克利、北京大学(第八)、Meta……

可以看到,前十里隶属于学术界的机构或组织占据了大片江山。

而我们找了半天,也没有看到OpenAI和DeepMind的名字——

显然它们发表的论文数量较少,主要靠质量取胜。

为了验证这一猜测,Zeta Alpha也做了一个高引论文转化率的排名。

bcc5f52df0ef43018c067b8b913bf19e~noop.image?_iz=58558&from=article.pc_detail&x-expires=1678681642&x-signature=w8YkLIMFRl2zkO1jUfS1fA5HMho%3D

果不其然,OpenAI摘得桂冠,DeepMind获得第三。

当然,Meta也不错,第四,引得LeCun都出来“现身说法”了一下:

我们Meta确实是更注重质量而不是数量的。

636d6920c0914d97940c23b340534cd2~noop.image?_iz=58558&from=article.pc_detail&x-expires=1678681642&x-signature=0ms1Y2dyUI3Fet%2FxCruftkEWh6I%3D

相比之下,高引多但发得更多的谷歌才排第九,差点出前10。

除了这几位,第二名也是亮点——它就是旷视

以及国内还有商汤也上榜了。

附2022引用Top100完整名单

ChatGPT的火着实盘活了AI产业,最新前沿研究究竟会指往哪些方向?我们也需要更加敏锐地进行观察。

为此,Zeta Alpha也给出了2022年引用进100的所有AI论文的名单,或许对大家有所启发。

1-30:

e021a7954cdc486b91203d2a7d6ea299~noop.image?_iz=58558&from=article.pc_detail&x-expires=1678681642&x-signature=gHSTR7Aw%2BXTn3cGlTyKvt19NaFQ%3D

31-60:

cb0cd21804e0417596226177ae6c4297~noop.image?_iz=58558&from=article.pc_detail&x-expires=1678681642&x-signature=k8VXs0Mml4kEZaMnBHOJVrKO8LE%3D

61-90

ee5b3c7d8eb545c1a8e4317e1b8a1139~noop.image?_iz=58558&from=article.pc_detail&x-expires=1678681642&x-signature=kgfXYoc1qdfiviEcmFIcnzcAADA%3D

91-100

e08e92fee1124f95814d99ee6028184f~noop.image?_iz=58558&from=article.pc_detail&x-expires=1678681642&x-signature=2JOuUuLObDBNtTQIkPVbmY2UKkM%3D

那么,Zeta Alpha这份报告的全部内容就是这些。

原文可戳:
https://www.zeta-alpha.com/post/must-read-the-100-most-cited-ai-papers-in-2022

版权所有,未经授权不得以任何形式转载及使用,违者必究。

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK