10

只有加法也能做深度学习的 AdderNet 开源了

 4 years ago
source link: https://www.infoq.cn/article/JiAHH0phDlAgmSAYiHRr
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

2 月 25 日，华为诺亚方舟实验室将 AdderNet 正式开源！

一个月以前，一篇名为《我们真的需要在深度学习中使用乘法吗？》的论文刷爆朋友圈，这篇来自华为诺亚方舟实验室与北大合作的论文提出了一种新的方法，名为： AdderNet。

根据论文介绍：与加法运算相比，乘法运算具有更高的计算复杂度。在深度神经网络中被广泛使用的卷积计算，正是衡量输入特征和卷积滤波器之间相似度的交叉相关计算，这涉及到浮点值之间的大量乘法。而 AdderNet 可以将深度神经网络中，特别是卷积神经网络中的乘法，转换为更简单的加法运算，以便减少计算成本。

在 AdderNet 中，研究者采用了 L1 正则距离，用于计算滤波器和输入特征之间的距离，分析了这种新的相似性度量方法对神经网络优化的影响。为了获得更好的性能，研究人员还开发了一种特殊的反向传播方法来研究 AdderNet 的全精度梯度。然后，根据每个神经元梯度的大小，提出一种自适应学习速率策略来增强 AdderNet 的训练过程。

因此，在不使用卷积乘法的情况下，AdderNet 在 ResNet-50 上对 ImageNet 数据集进行训练后，能够取得 74.9% 的 top-1 精确度和 91.7% 的 top-5 精确度，如下图所示：

y2m2Yfr.png!web

开源后，用户可以在自己的设备上对 AdderNet 进行配置，需要的基础环境为：

  • python 3
  • pytorch >= 1.1.0
  • torchvision

用户可以按照 pytorch / examples 准备 ImageNet 数据。此外，官方表示预训练的模型将很快发布。

目前，开发者可以通过运行如下代码来对 ImageNet val 集进行评估：

复制代码 

pythontest.py--data_dir'path/to/imagenet_root/'

在 ResNet-50 上对 ImageNet 数据集训练，用户将达到 74.9％的最高精度和 91.7％的 Top-5 精度。开发者可尝试运行如下代码，在 CIFAR-10 上进行求值运算：

复制代码 

pythontest.py--datasetcifar10--model_dirmodels/ResNet20-AdderNet.pth--data_dir'path/to/cifar10_root/'

此外，在 ResNet-20 上对 CIFAR-10 数据集进行训练，用户将达到 91.8％的精度。

由于加法器过滤器是由 torch.cdist 实现的，所以 AdderNet 的推理很慢，但是用户可以编写 cuda 以获得更高的推理速度。

虽然 AdderNet 简化了运算成本，但是有一些反对的声音认为：类似的工作是可以通过硬件的优化（如 AI 芯片）来解决的，因此加法的优势其实并不算明显。如果有读者对 AdderNet 有更多见解，欢迎在留言区发表您的观点。

GitHub 开源链接：

https://github.com/huawei-noah/AdderNet

论文地址：

https://arxiv.org/pdf/1912.13200.pdf


report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK