深度学习黑箱：探秘人类编写的AI究竟在想什么

机器学习（machine learning）是人工智能的一种形式，它使用大量的数据来训练自己对某些问题形成算法。例如，向机器提供成千上万张标有“猫”的照片，它就能学会识别“猫”这一生物。

Nguyen 说，机器学习的想法可以追溯到 20 世纪 50 年代，但直到最近，计算机才能够有效地处理大量数据，并得出精确结果。到 20 世纪 90 年代，机器学习算法仅使用简单的概念，但很明显，现实生活中存在各种复杂的问题，从而需要更复杂的算法，这就是深度学习的意义所在。

与机器学习不同，深度学习（deep learning）不需要结构化数据作为基础，利用人工神经网络（artificial neural net），即多个神经元一起工作，通过这些“神经元”来考虑数据并对数据进行分类。

神经网络非常擅长图像识别，当向它们提供足够的数据后，他们可以挑出人眼看不见的图案或差异。利用这一点，深度学习可以实现自动驾驶汽车的行人侦查或肿瘤筛查。

但是，

能彻底搞乱人工智能的数据被称为“对抗性数据”，它会导致一个通常可靠的神经网络犯下奇怪的错误。静态的、波浪状的人字纹，以及五颜六色的条纹，可能被 AI 自信地识别为“蜈蚣”或“熊猫”。

不仅如此，一些常见的图像也会让深度学习人工智能崩溃。把消防车图片倒过来，AI 就会看到一个大雪橇；放大一辆公共汽车的窗户，它在 AI 眼中就变成了一个出气筒。

“令人震惊的是，我们发现这些网络会在某种程度上被这些奇怪的图案所愚弄，这是我们从未想象过的。”Nguyen 表示。

为了找出原因，Nguyen 创建了一个叫做 DeepVis 的工具来分析神经网络算法。该工具能够将深入学习 AI 的完整程序分离开来，并显示出单个神经元正在识别的内容。从这里开始，Nguyen 能够打破深入学习AI的连续工作进程，从而理解它是如何一步步达到最终检测结果的。

由于神经网络这种复杂性，对其所做的“解剖”对于人工智能开发人员最有用，提供的大量细节可以帮助科学家们更深入地理解破解黑箱所需的神经网络训练，就好比医生对于肿瘤的研究一样。

但是，即使使用 DeepVis，黑箱的秘密可能也不会完全打开。神经元群的绝对复杂性可能让人类难以理解，毕竟它是一个黑箱。

2016 年，来自波士顿大学和微软研究院的研究人员为一种算法提供了 300 多万英文单词的数据集，数据从谷歌新闻文章中提取。研究人员重点关注那些最常用的英文单词，然后让算法做完形填空。

“男人（Man）之于程序员（computer programmer），那么女人（woman）之于什么”，机器通过算法“思考”后，得出答案：“家庭主妇（homemaker）”。

很明显，

Singh 的团队首先使用某些单词，开发出特殊的触发器，然后，他们按照归因图所说的算法最“感兴趣”的模板来修改这些单词，最终的结果是一连串的文字和半拼写错误，从而引发了某些看起来像“种族主义”的言论。

“突出显示的内容对模型的预测或输出有很大的影响，”Singh 说，利用这些信息，可以使用故意的对抗触发器来尝试发现问题，并理解深度学习算法中的联系。这足以让人们了解人工智能的想法。

虽然归因图也有缺点，不同的地图生成器可能彼此不一致，但是大概的理解可能是我们所能获得的最好的理解。

当然，随着未来科学家们在深度学习领域中不断取得的突破，由人类创造的 AI 黑箱终将变成“灰色”。

参考资料：