7

天大本科生论文入选CVPR 2022,实现深度学习长尾分类新SOTA

 2 years ago
source link: https://www.qbitai.com/2022/03/33568.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

天大本科生论文入选CVPR 2022,实现深度学习长尾分类新SOTA

head.jpg丰色 2022-03-22 15:02:59 来源:量子位

今年大四,已有2篇顶会

本科生搞科研到底能做出什么成绩?

最新被CVPR 2022收录的一篇论文中,提供了一种新思路来解决深度学习中长尾分布数据的分类问题,最终实现了新SOTA。

2657349b5ebd4ac39bef62d437b3662c~tplv-tt-shrink:640:0.image

文章一共5位作者,有博士生,也有来自新加坡A*STAR的高级研究员……

而排在一作位置的,是一位来自天津大学的本科生——李同学

厉害的是,这还不是这位“初生牛犊”的第一篇顶会论文,在此之前,他还中了一篇数据挖掘领域的顶会(WWW 2022),同样是一作。

2a54050496ad432fad4d4bfdba03c831~tplv-tt-shrink:640:0.image

本科生搞科研,势头已经这么强了吗?

大三进实验室,大四就有2篇顶会在手

李同学来自天津大学智能与计算学部,今年大四

这篇CVPR文章,主要就是以新型集成(ensembling)学习策略来解决长尾分类的问题。

19235a3a7ccd40f6ad2065594b109854~tplv-tt-shrink:640:0.image

长尾分布大家都知道,对于这些数据的分类则是深度学习中十分常见的一个应用。

它的难点主要是样本量极端不平衡尤其尾部样本量过少,难以获得有效的训练结果。

目前,基于集成学习的方法显示出巨大潜力,实现了SOTA性能。

但这种方法有两个局限性:

一是在failure-sensitive应用中的预测通常不可信,这对极容易出错的尾部数据的影响非常大;

二是它会为所有样本分配统一数量的资源(experts),这对于简单样本来说,造成了多余、过高的计算成本。

因此,李等人提出,通过引入不确定性集成,来实现对尾部类别样本的自动感知。

在此基础上,提出为尾部类别样本动态分配比头部样本更多的模型资源(experts),以兼顾性能与效率。

7b34c3413d674f33bb40c49cd08a0f0e~tplv-tt-shrink:640:0.image

△ 测试阶段使用哈佛提出的DS理论形成joint uncertainty

最终,所得模型实现了对尾部类别样本的自动化检测与训练调节,成为一个解决长尾分类问题的通用模型。

一系列分类、尾部检测、离群点检测和故障预测等任务的综合实验证明,该模型的性能成功打败现有的SOTA方法

3a03c5a7270648e0929b6dc26e2f8cab~tplv-tt-shrink:640:0.image

李同学是在大三的时候,凭着优秀的学习成绩进入了学部的机器学习与数据挖掘实验室

852e7d8887424d3ea400090d9c33aa88~tplv-tt-shrink:640:0.image

在导师张长青(天津大学博导)的带领下,经过短短一年半的学习,就中标了两篇顶会论文

可以说后生可畏。

越来越多的本科生开始发顶会

不过要说起本科生搞科研,其实大家应该有所注意,很多学校对于这件事越来越开放和重视:

在大三或者更低年级时,就会开放一些名额让有潜力的学生进入实验室,和研究生、博士生一起搞科研。

比如清华“星火班”就招募大二学生,北大也鼓励学生从大二就开始开展科研项目,而像中科大等学校,对做出相应成绩的本科生还会给予专门的奖学金

在这样的情况下,已经有不少像李这样的学生,在本科期间就发表上顶会了,可谓光环满身。

比如我们熟悉的清华特奖得主、2016级本科生高天宇,大学四年期间就有四篇顶会在手:两篇AAAI、两篇EMNLP,还开过一个直播,专门传授起自己的科研经验。

1d78e010c89d4bec9165c17738a9ad0d~tplv-tt-shrink:640:0.image

比如MIT本科生毛啸,大四中标计算机理论顶会FOCS 2021,并摘得最佳学生论文奖。

再比如清华电子系本科生刘泓,3篇一作顶会;北大本科生吴克文不仅发顶会(ACM计算理论年会STOC),还拿下最佳论文奖;以及电子科大本科生王谭也有1篇一作CVPR 2020、浙大本科生任意同样1篇一作ICML 2019……

类似的例子非常多。

可以说,本科生搞科研是越来越厉害了,大家觉得呢?

aa79219d8a784ff08a088b5f98ff7c30~tplv-tt-shrink:640:0.image

论文地址:
https://arxiv.org/abs/2111.09030

参考链接:
http://cic.tju.edu.cn/info/1040/3704.htm

版权所有,未经授权不得以任何形式转载及使用,违者必究。

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK