今日 Paper | 联合多任务模型；3D人体重建；可视化理解机器翻译；深入研究整流器等

    目录

联合多任务模型： 多NLP任务的神经网络的创建

Peelnet： 基于单视角彩色图片的带纹理的3D人体重建

可视化理解机器翻译

深入研究整流器： 在ImageNet分类上超越人的水平

对深前向神经网络训练难点的理解

    联合多任务模型： 多NLP任务的神经网络的创建

论文名称： A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks

作者： Kazuma Hashimoto /Caiming Xiong /Yoshimasa Tsuruoka /Richard Socher

发表时间： 2016/11/5

论文链接： https://paper.yanxishe.com/review/12204?from=leiphonecolumn_paperreview0227

推荐原因

核心问题： 在自然语言理解领域有众多的任务，比如词性分析，语块分析，依存句法分析，文本语义相关，文本蕴涵等等，各个任务之间有着相互联系。 研究者们通过多任务学习来促进任务间互相联系，提高各个任务的性能。

创新点： 传统的多任务是并行实现的，但是这众多任务中是存在层次关系的，所以本文将不同任务栈式的叠加，越层次的任务具有更深的网络结构，当前层次的任务会使用下一层次的任务输出，类似于流水线的形式。

研究意义： 相比平行的多任务结构有更好的效果。 这样的框架也可以扩展到更多高层任务应用，而且效果也比较好，这也符合真实的情况。

    Peelnet： 基于单视角彩色图片的带纹理的3D人体重建

论文名称： PeelNet: Textured 3D reconstruction of human body using single view RGB image

作者： Sai Sagar Jinka /Rohan Chacko /Avinash Sharma /P. J. Narayanan

发表时间： 2020/2/16

论文链接： https://paper.yanxishe.com/review/11695?from=leiphonecolumn_paperreview0227

由于严重的人体自遮挡、衣服变化和光照变化等众多问题，从单张彩色图像恢复人体形状和姿势是一个非常具有挑战性的问题。 本文提出了一种端到端的生成对抗网络框架PeelNet，来从单张RGB图片重建带纹理的3D人体模型。

作者提出将3D人体模型表达为对自遮挡鲁棒的分离的深度图和彩色图(peeled depth and RGB maps)，并提出一个完整的端到端的框架，从单张彩色人体图片预测分离的深度图和彩色图，并进一步生成带纹理的3D人体模型。

文章的方法不依赖于参数化人体模型，对于穿宽松衣服的人体能够得到更加精确的结果，而且能够很好地处理人体自遮挡情况。

    可视化理解机器翻译

论文名称： Visualizing and Understanding Neural Machine Translation

作者： Yanzhuo Ding / Yang Liu / Huanbo Luan / Maosong Sun

发表时间： 2017/7/30

论文链接： https://paper.yanxishe.com/review/11953?from=leiphonecolumn_paperreview0227

推荐原因

论文概要： 目前深度学习发展迅速，但深度学习作为一个黑箱，越来越多的研究者开始关注深度学习的可解释性研究。 本篇论文是17年的ACL论文，应用了LRP(layer-wise relevance propagation)方法对神经机器翻译进行了可视化理解。 目前的注意力机制实际上表示了源语言和目标语言之间的联系，但不能很好地告诉我们目标语言是如何被翻译生成的。 LRP(分层相关性传播)方法，最开始被应用于计算机视觉领域，通过计算单个像素对图像分类器预测结果的贡献进行可解释研究。 本文将LPR方法应用在基于注意力机制的encoder-decoder模型中，去计算每个上下文单词对任意隐藏单元的贡献程度，从而可视化理解神经机器翻译模型。 汉英翻译的实例研究表明，LRP方法可以很好地解释机器翻译的工作机制并且帮助分析翻译错误。

创新点与反思： 本文首次应用LRP方法对NMT进行了可视化理解，并取得了不错的效果。 LRP方法首先在计算机视觉领域被提出，作者将这种方法迁移应用到了自然语言处理领域，实际上现在计算机领域的深度学习可解释研究比较多，对其他领域的进一步研究有很好的借鉴意义。

    深入研究整流器： 在ImageNet分类上超越人的水平

论文名称： Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

作者： Kaiming He / Xiangyu Zhang / Shaoqing Ren /Jian Sun

发表时间： 2015/2/6

论文链接： https://paper.yanxishe.com/review/12076?from=leiphonecolumn_paperreview0227

推荐原因

核心问题： 这是一篇关于神经网络的权重参数初始化的文章，目前这种神经网络权重的初始化方法我是经常使用的，使用这种方法训练的神经网络训练更快，效果更好

创新点：

1、提出了PRULE激活函数

2、在ImageNet2012分类数据集上，到达4.94% top-5的错误率，超过当时最好的性能6.66%，超过人的水平5.1%

研究意义： 神经网络的权重初始化是神经网络最重要的一步，因为不适当的神经网络初始化，很有可能导致神经网络不工作。

    对深前向神经网络训练难点的理解

论文名称： Understanding the difficulty of training deep feedforward neural networks

作者： Xavier Glorot /Yoshua Bengio

发表时间： 2010/2/11

论文链接： https://paper.yanxishe.com/review/12075?from=leiphonecolumn_paperreview0227

推荐原因

核心问题： 在使用深度学习搭建模型的时候，经常需要对神经网络进行权重的初始化工作，有许多神经网络的权重参数初始化方式，经常使用的一种方式是Xavier，这个方法就是来源于这篇论文。

创新点： 提出了一种新的初始化方法，可以带来更快的收敛速度。 这种初始化权值的方法就是这两年在深度网络中经常使用的Xavier初始化。

研究意义： 神经网络的权重参数初始化是非常重要的，有时候神经网络不work，那么多半是和神经网络的权重参数初始化不好有关系，好的神经网络的权重参数初始化，不仅有利于解决神经网络的梯度消失和梯度爆炸的情况，而且还可以加快神经网络的训练速度。

    论文作者团队招募

为了更好地服务广大 AI 青年，AI 研习社正式推出全新「论文」版块，希望以论文作为聚合 AI 学生青年的「兴趣点」，通过论文整理推荐、点评解读、代码复现。 致力成为国内外前沿研究成果学习讨论和发表的聚集地，也让优秀科研得到更为广泛的传播和认可。

我们希望热爱学术的你，可以加入我们的论文作者团队。

加入论文作者团队你可以获得

1.署着你名字的文章，将你打造成最耀眼的学术明星

2.丰厚的稿酬

3.AI 名企内推、大会门票福利、独家周边纪念品等等等。

加入论文作者团队你需要：

1.将你喜欢的论文推荐给广大的研习社社友

2.撰写论文解读

如果你已经准备好加入 AI 研习社的论文兼职作者团队，可以添加运营小姐姐的微信（ID:julylihuaijiang），备注“论文兼职作者”

雷锋网 (公众号：雷锋网) 雷锋网雷锋网

相关文章：

今日 Paper | 3D门控递归融合；双注意力GAN；通用目标检测器；无监督域自适应等

雷锋网原创文章，未经授权禁止转载。详情见 转载须知 。