3

深度学习“开挂”十年，谷歌AI大牛Jeff Dean发文剖析并提出未来发展方向

 2 years ago
source link: https://www.mittrchina.com/news/detail/10480
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client
麻省理工科技评论-深度学习“开挂”十年，谷歌AI大牛Jeff Dean发文剖析并提出未来发展方向
深度学习“开挂”十年，谷歌AI大牛Jeff Dean发文剖析并提出未来发展方向
自计算机出现后，人类就期盼能够进一步创造出 “会思考的机器”。1956 年，美国计算机科学家、认知科学家约翰·麦卡锡（John McCarthy）首次提出“人工智能”（Artificial Intel
280


自计算机出现后，人类就期盼能够进一步创造出 “会思考的机器”。1956 年，美国计算机科学家、认知科学家约翰·麦卡锡（John McCarthy）首次提出“人工智能”（Artificial Intelligence，缩写为 AI）的概念，试图通过让机器使用语言形成概念和逻辑，来解决各种问题并不断改进自身。

此后的 50 年里，科学家开发了“基于逻辑、规则和神经网络”的各类 AI 系统。然而，这些将人类知识编码成机器可读内容的工作，即使耗费了大量人力、物力等资源，仍未能让机器在自主学习方面取得重大进展。

直到 2011 年左右，AI 及机器学习开始在众多领域取得各项成就，不仅解决了一系列世界难题，还为新型的计算体验和互动开辟了途径。

近日，谷歌人工智能负责人杰夫·迪恩（Jeff Dean）就深度学习这十年来的进展作了深入剖析，包括推动机器学习的计算硬件和开源软件框架、机器学习的众多应用以及未来的发展方向，并将相关文章发表在美国文理学会会刊 Dædalus 的 AI & Society 特刊上。

图 | 相关文章（来源：Dædalus）
据了解，迪恩在本科阶段就对神经网络有浓厚的兴趣，并以神经网络并行训练为课题进行了深入研究。当时他得出，相对于 1990 年的计算机，需要多 100 万倍的计算能力，神经网络才能开始在挑战性的问题上有所突破。

21 世纪初，研究人员开始在深度学习算法中使用图形处理单元（graphics processing unit，简称 GPU）来作为硬件设备，GPU 比 CPU 的浮点计算率相对更高。自此之后，深度学习在图像识别、语音识别和语言理解等方面进展飞速，这促使研究人员开始设计比 GPU 更匹配深度学习算法需求的专用硬件设备。

关于构建专用硬件，深度学习算法具备两个关键的特点，一是其对低精度的容忍度很高，二是其计算基本是由矩阵及向量的各种线性代数操作序列组成。因此，专门用于低精度线性代数计算的芯片和系统，有助于使深度学习算法的性能得到极大提升。

早期的这类芯片有谷歌的第一个张量处理单元（TPUv1），其针对深度学习推理的 8 位整数计算，在速度和每瓦性能方面比当代 CPU 和 GPU 有一到两个数量级的改进，使谷歌在语音识别的准确性、语言翻译和图像分类系统方面有了巨大的改进。

伴随其专用硬件的发展，推动深度学习研究的开源软件框架出现了，这让深度学习模型和计算的表达变得更加容易，同时帮助深度学习在更加广泛的领域得以应用。

2015 年，谷歌通过整合 Theano 和 DistBelief 等早期强调规模和性能的框架，开发并开源可表达机器学习计算的 TensorFlow，让全世界的个人和组织在机器学习方面有了更多的发展机会。

图丨Jeff Dean（来源：谷歌）

由于硬件性能的不断提升和开源软件工具的普及，机器学习领域的研究产出及其应用激增。现在，机器学习领域的研究者，正在积极与神经科学、气候科学、分子生物学以及医疗保健等方面的科学家合作，帮助解决一系列重要的问题，不仅带来社会效益，而且推动了人类发展。

例如，机器学习可以帮助研究人员更多地了解基因构成，最终更有效地解决基于基因的疾病；机器学习可以帮助研究人员更好地了解天气和环境，特别是预测日常天气和洪水等气候灾害；机器学习也提供了帮助检测和诊断疾病的新方法，当应用于医疗图像时，计算机视觉可以帮助医生更加快速、准确地分析判断一些严重的疾病，甚至比医生自己的能力更强。

值得一提的是，今天的机器学习技术也让科学家对疾病的传播方式有了更准确的了解，让全球有更好的机会进行疾病预防，如 COVID-19 大流行。

最后，迪恩指出了机器学习的未来。他表示，“机器学习领域正在兴起一些有趣的研究方向，如果将它们结合起来，可能会更加有趣。”

图 | 一个多任务、稀疏激活的机器学习模型（来源：Dædalus）
第一是稀疏激活模型，如稀疏门控专家模型（Sparsely-gated mixture of expertsE），其显示了如何建立非常大的容量模型，其中只有一部分模型为任何给定的例子 “激活”。该模型的研究人员表明，这种方法的训练效率是原来的 9 倍，推理效率是原来的 2.5 倍，而且更加准确。

第二是自动机器学习，如神经架构搜索或进化架构搜索等技术，能够自动学习机器学习模型及其组件的各个方面，以优化特定任务的准确性，通常涉及运行许多自动实验，其中每个实验可能涉及大量的计算。

第三是多任务机器学习，在几项到几十项相关任务的适度范围内进行多任务训练，或者从为相关任务训练的大量数据中转移学习，然后在为新任务训练的少量数据中进行微调，已被证明在各种问题上非常有效。

如果将这三种技术方向结合起来，构建在大规模机器学习加速器硬件上运行的系统，这样训练出的单一模型可能是由许多不同结构的组件组成，可以处理数百万任务，并且能够自动学习成功地完成新任务。

建立一个能在机器学习的所有应用领域独立处理新任务的系统，需要许多方面的专业知识和进步，横跨机器学习算法、负责任的 AI、分布式系统和计算机架构等领域。这是一个真正的巨大挑战，但这将极大地推动 AI 的发展。

需要注意的是，虽然 AI 有能力在生活的许多方面帮助我们，但所有研究人员和从业人员都应确保这些方法的开发是负责任的，比如仔细审查偏见、公平、隐私及其他可能影响他人和社会的行为。

-End-

参考：
https://www.amacad.org/publication/golden-decade-deep-learning-computing-systems-applications


report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK