2

炼丹神器!模型调参这门“玄学”,终于被破解了

 2 years ago
source link: https://my.oschina.net/u/4067628/blog/5288968
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

炼丹神器!模型调参这门“玄学”,终于被破解了 - 飞桨PaddlePaddle的个人空间 - OSCHINA - 中文开源技术交流社区

点击左上方蓝字关注我们

up-8f9e377b61311f962704b29e09f8ae0e.gif

吃一个苹果要几步?这对普通人来说,是一件很简单的事。

那么AI模型调参需要几步呢?调参是机器学习中至关重要的一环,因其复杂性而被称之为一门“玄学”。这对开发小白和AI专业算法工程师来说,答案肯定不同。

在AI开发的过程中,数据准备、建模与模型评估占到了很大一部分工作,所以我们一般会先采用一个简单的模型跑通流程,目的就是能快速地让模型跑起来,初步了解这个任务的难度、可行性等。但要知道,高精度的模型其超参数都是经过反复调试而来的,模型调参就是一项十分考验算法工程师耐力又关乎模型精度效果和稳定性的任务。

up-dd6745cc34f46b6f1d9b5ec0bf624b46.png

先来看一下那些年「炼丹师」、「调参侠」都是怎么过来的吧~

炼丹师打造一个模型首先需要根据不同的深度学习框架配置合适的训练环境,包括硬件适配、依赖包的安装等;然后手动搭建网络结构和模块,调整相关超参数,最后把处理好的数据喂入模型开始训练......

其中,模型的参数调整是非常重要的一件事,如果能配置合适的超参数,那么模型的效果就会得到大幅度提升。可现实是,前期环境搭建、模型组网和数据准备阶段往往耗费了我们大量了时间和精力,面对众多对结果产生重要影响的模型超参数,我们还会迷茫于做出哪些改进,调整哪些超参数能提升模型的效果,如何根据badcase分析下一步的优化策略,周期十分漫长,真的是“让人头秃”。

up-31758c13011e53cc1d06b48cf040f893.png

那么,有没有办法可以减少环境准备、模型搭建、效果调优的时间,靠机器自动调参就能获得一个优质的模型呢?能不能让炼丹师、调参侠们真正的“躺平”呢?

答案来了,我们知道手动调参会耗费大量的人力和时间,算上这背后高昂的机会成本,不如释放双手,来一个自动调参。在调参过程中只需进行模型的输入和输出,不需要假设模型超参数和最终指标是否符合优化条件,也不需要代码的细节等,点点鼠标,选择合适的预训练模型和预置网络,就可以进行自动调参,获取符合场景需要的高精度模型。

备受AI开发者喜欢的就是百度BML的自动超参搜索功能,用过的都说很easy。

up-4321c9be7a29c826c8c0849fe032013b.png

目前百度 BML自动超参搜索支持贝叶斯搜索、随机搜索和进化算法三种超参搜索算法,炼丹师可以根据自己的需要来选择。自动超参搜索功能基于自研自动超参搜索服务,具有简单易用、模型丰富、高效分布式智能搜索等特性,同时,依托于百度智能云,还支持多搜索任务并发,大幅缩短超参搜索耗时,炼丹师真的可以释放双手,再也不用调参调到头秃了。

另外,炼丹师们关心的精度部分也能满足,百度BML独家内置了百度超大规模预训练模型,预置了百度大规模数据训练的预训练模型,在视觉任务中,图像分类训练任务内置百度基于海量互联网数据,包括10万+分类、6500万图片训练的超大规模预训练模型,平均精度可提升3.24%-7.73%;物体检测训练任务内置百度基于800+标签、170万图片,1000万+检测框训练的超大规模物体检测预训练模型,平均精度可提升1.78%-4.53%; 在自然语言处理方向,BML预置了由百度自研、业界效果最好的预训练模型ERNIE,开创性地将大数据预训练与多源丰富知识相结合,持续学习海量数据中的知识,将机器语义理解水平提升到一个新的高度。

百度BML基于开源开放的产业级深度学习平台飞桨,为企业和个人开发者提供机器学习和深度学习一站式AI开发服务,并提供高性价比的算力资源,助力企业快速构建高精度AI应用。BML提供从数据采集、数据清洗、数据标注、智能标注与多人标注、模型训练生产到模型管理、云端及离线推理服务管理等AI开发过程的全生命周期管理。

比如,在工业行业,当工业制造批量化、高效率生产成为趋势,如何把关产品质量,降低次品率成为行业难题。传统的人工检查易受视力等多重因素影响,微小瑕疵不能被高效识别,且人力成本居高不下。用BML物体检测训练工业零部件瑕疵识别模型,可以精准识别毛边、裂痕等细微瑕疵,为流程优化和工艺再造提供关键数据支持,真正让工业AI质检炼就“火眼金睛”。

8月25-26日,邀请您跟着百度BML课程讲师一起进行深度学习打怪升级,从数据准备到模型训练,从模型部署到应用,了解工业AI质检全流程开发与实战。

  1. 参与AI快车道线上直播互动,即可抽取小度真无线智能耳机、小度智能音箱、飞桨定制鼠标垫等好礼。

  2. 课程结束体验产品并完成“产品体验调研报告”,就可领取100元京东卡奖励。

up-12e7433573be9e662a559b9ece315045.png

点击【阅读原文】,参与课程直播抽奖。

如有飞桨相关技术问题,欢迎在飞桨论坛中提问交流:

http://discuss.paddlepaddle.org.cn/

欢迎加入官方QQ群获取最新活动资讯:793866180。

如果您想详细了解更多飞桨的相关内容,请参阅以下文档。

·飞桨官网地址·

https://www.paddlepaddle.org.cn/

·飞桨开源框架项目地址·

GitHub: https://github.com/PaddlePaddle/Paddle 

Gitee: https://gitee.com/paddlepaddle/Paddle

up-3da5217e8cb64a3d92ffa6597aff8570.png

????长按上方二维码立即star!????

飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础,集深度学习核心训练和推理框架、基础模型库、端到端开发套件和丰富的工具组件于一体,是中国首个自主研发、功能丰富、开源开放的产业级深度学习平台。飞桨企业版针对企业级需求增强了相应特性,包含零门槛AI开发平台EasyDL和全功能AI开发平台BML。EasyDL主要面向中小企业,提供零门槛、预置丰富网络和模型、便捷高效的开发平台;BML是为大型企业提供的功能全面、可灵活定制和被深度集成的开发平台。

up-c0d353a51584839336326e5d8bfbf008.jpg

本文同步分享在 博客“飞桨PaddlePaddle”(CSDN)。
如有侵权,请联系 [email protected] 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK