蚂蚁安全天筭实验室神经注意蒸馏框架研究成果被ICLR会议收录
source link: https://mp.weixin.qq.com/s?__biz=MzI2ODA2MjAwNw%3D%3D&%3Bmid=2247487629&%3Bidx=1&%3Bsn=e11a307838be5ae97f9fef04a96a7e07
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
近期，由西安电子科技大学、蚂蚁集团、迪肯大学、墨尔本大学和UIUC合作完成的论文「Neural Attention Distillation: Erasing Backdoor Triggers from Deep Neural Networks」，成功被ICLR 2021会议收录，均分排名ICLR 2021会议论文前6%。蚂蚁安全天筭实验室安全专家吕灵娟博士为该论文作者之一，重点参与了论文算法和实验部分的指导。
ICLR（International Conference on Learning Representations），即国际学习表征会议，成立于2013年，由深度学习三大巨头之二的Yoshua Bengio和Yann LeCun共同牵头创办，发展至今已经被学术研究者们广泛认可，被誉为“深度学习的顶级会议”，目前在H5-index领域已超越ICML、NeurIPS 等，在所有顶会中影响力仅次于CVPR。
本次中稿论文的研究对象是AI安全领域的后门攻击。作为一种训练过程中的定向攻击，后门攻击近年来在AI安全中引起了极大的重视。后门攻击通过改变原始训练数据集的单个特征，或在很小的区域增加后门触发器、并重新标记样本，就可以降低目标模型的准确性。更严重的是，一旦将后门触发器嵌入到目标模型中，就很难通过传统的微调或神经修剪来彻底消除其恶意的影响。
针对这一痛点，本文提出了一种新颖的防御框架--神经注意蒸馏（Neural Attention Distillation，NAD），以消除DNN中的后门触发器。NAD利用教师网络在少量干净的数据子集上指导后门学生网络的微调，以使学生网络的中间层注意与教师网络的注意保持一致。其中，教师网络可以通过对同一干净子集进行独立的微调获得。针对6种最新的后门攻击——BadNets，Trojan attack，Blend attack，Clean-label attack，Sinusoidal signal attack，Reflection attack，验证了提出的NAD的有效性， 仅使用5％的干净训练数据就可以有效擦除后门触发器 ，同时不影响干净样本的性能。
本文提出的基于神经注意蒸馏的机制来消除目标模型中后门触发器的方法是目前业界最简单有效的方法，对多种攻击都有普适性。同时，可以在少量干净数据的协助下，可靠地擦除神经网络中已存在的任何后门，为蚂蚁AI安全领域各类真实的应用场景提供了前瞻性的指导。
同时，蚂蚁安全天筭实验室安全专家吕灵娟博士介绍，本研究成果提供了目前SOTA的通用后门防御技术：防御效果最好，防御范围最大，普适性最好，防御方法简单，通用于工业界任何需要使用外部预训练模型的应用场景。 此模型现已开源（点击“阅读原文”获取链接） ，在未来将有望应用于行业，进行精准行业赋能，有利于建立更鲁棒的金融风控系统。
作为本论文指导老师， 西安电子科技大学吕锡香教授和 迪肯大学马兴军教授 认为，该研究产出的神经注意蒸馏 后门攻击 防御框架，在实证研究中被证明既简单又有效，有较好的应用前景。相信该技术的创新将进一步提升蚂蚁AI安全的能力，也为行业AI安全的发展提供借鉴意义。
蚂蚁安全天筭实验室
蚂蚁安全天筭实验室隶属于蚂蚁安全九大实验室之一，围绕智能风控和反欺诈技术，探索安全领域的机器学习等前沿问题，致力于打造全球领先的智能风控体系。蚂蚁安全天筭实验室也是守护支付宝“你敢付我敢赔”承诺的中坚力量。
Recommend
-
47
互联网时代，假新闻铺天盖地，而且极具迷惑性，Facebook一度深陷虚假新闻的泥淖，不但被控影响了美国总统大选结果，甚至引发了德国政府的巨额罚金。 甚至连以公信力著称的BBC也难以幸免，比如BBC北安普顿分站的推特账号就曾发...
-
53
近日，来自 FAIR、MIT 和加州大学伯克利分校的 Tongzhou Wang、朱俊彦等人发布新研究论文，提出一种新的蒸馏方法——数据集蒸馏。这与将知识从复杂网络迁移到较简单模型不同，该方法将原始数据集中大量数据集的知识压缩到少量合成数据上，...
-
13
摘要: 当今，各种互联网金融风险（比如，欺诈、盗卡、薅羊毛等）层出不穷，为了更有效且高效地保障资金安全，需要应用先进的机器学习技术进行风险防控。近年来，使用深度神经网络(DNN)在有标签的数据上训练风控模型，取得了良好的效果。...
-
40
这是一篇关于【知识蒸馏】简述的文章，目的是想对自己对于知识蒸馏学习的内容和问题进行总结。笔者挑选了部分经典的paper详读，希望对于对KD有需求的同学提供一个概览和帮助。 作者：凉爽的安迪 ...
-
41
一只小狐狸带你解锁 炼丹术& NLP 秘籍 神经网络模型除了部署在远程服务器之外，...
-
40
本文转载自诺亚实验室。 近期，华为诺亚方舟实验...
-
19
本期我们来看一篇又双叒叕来自于阿里巴巴的工业paper，被KDD 2020所接收。一眼望去题中有两个关键词， Privileged Features...
-
45
最近要开始使用Transformer去做一些事情了，特地把与此相关的知识点记录下来，构建相关的、完整的知识结构体系， 以下是要写的文...
-
4
腾讯安全科恩实验室最新自动驾驶研究成果入选国际顶会USENIX Security 2021腾讯安全科恩实验室最新自动驾驶研究成果入选国际顶会USENIX Security 2021 2021-08-13 16:33:33 来源： 摘要：安全领域四大顶会...
-
4
昆仑实验室研究员亮相“补天白帽论坛”，分享研究成果-品玩 昆仑实验室研究员亮相“补天白帽论坛”，分享研究成果 2小时前 8月18日，2022北京网络安全大会(BCS2022)大湾区网络安全峰会在深圳前海举行。本次大会...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK