英伟达打破实时对话AI的训练和推理用时记录
source link: https://www.tuicool.com/articles/6FRBbeF
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
据国外媒体报道，Nvidia用于开发和运行可理解和响应请求的对话式AI的GPU强化平台，已经达成了一些重要的里程碑，并打破了一些记录。这对任何基于其技术进行开发的人来说意义重大——当中包括大大小小的公司，因为英伟达将很多用于实现这些进步的代码开源。那些代码用PyTorch编写，易于运行。
访问购买页面:
英伟达今天宣布的最大成果包括：BERT训练用时打破记录，进入1小时关口。BERT是世界上最先进的人工智能语言模型之一，也被广泛认为是自然语言处理（NLP）标杆的先进模型。
Nvidia的AI平台仅仅需要53分钟就能够完成模型训练，经过训练的模型在短短2毫秒多一点的时间里(10毫秒在业内被认为是高水平线)就能够成功地做出推理(即利用通过训练学习到的能力得出结果)——又一个记录。
（Nvidia DGX SuperPOD，图自：英伟达开发者博客）
英伟达的这些突破不仅仅是吹嘘的资本——这些进步可为任何使用NLP对话式人工智能和GPU硬件的人提供切实的好处。
Nvidia在它的其中一个SuperPOD系统上打破了训练时间记录，该SuperPOD系统由运行1472个V100 GPU的92个Nvidia DGX-2H系统组成；在运行Nvidia TensorRT的Nvidia T4 GPU上完成推理过程。
Nvidia TensorRT在性能上超出高度优化的CPU许多个量级。不过，该公司将公开BERT训练代码和经过TensorRT优化的BERT样本，让所有人都可以通过GitHub利用。
（via Neowin ）
除了这些里程碑以外，英伟达的研究部门还建立并训练了有史以来最大的一个基于“Transformer”的语言模型。
这也是BERT的技术基础。该定制模型包含的参数多达83亿个，规模是当前最大的核心BERT模型BERT-Large的24倍。
英伟达将这个模型命名为“Megatron”，它也对外提供了用于训练这个模型的PyTorch代码，因而其他人能够自行训练出类似的基于“Transformer”的大型语言模型。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK