3
超参调节方法
source link: https://ylhao.github.io/2018/05/21/236/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
神经网络的常见超参数
神经网络需要调节的超参数大致有以下几个：
- αα：学习率
- ββ：动量梯度下降因子
- β1,β2,εβ1,β2,ε：Adam 优化算法参数
- #layer：神经网络层数
- #hidden units：各隐藏层的神经元数目
- learning rate decay：学习率衰减参数
- mini-batch size：批梯度下降法，每个 batch 的大小
基本的调参原则
- 通常来说，学习率 αα 是最重要的超参数，也是需要重点调试的超参数。
- 动量梯度下降因子 ββ、各隐藏层神经元个数 #hidden units 和 mini-batch size 的重要性仅次于 αα。
- 接下来比较重要的就是神经网络的层数 #layer 和学习率衰减参数 learning rate decay。
- 最后 Adam 优化算法的三个参数 β1,β2β1,β2 和 εε 一般设置为 0.9，0.999 和 10−810−8，并不需要反复调试。
- 当然，这里超参数重要性的排名并不是绝对的，具体情况，具体分析。
- 深度学习工程师微专业 —— 吴恩达
- 吴恩达《优化深度神经网络》精炼笔记（3）– 超参数调试、Batch正则化和编程框架
转载请注明来源，欢迎对文章中的引用来源进行考证，欢迎指出任何有错误或不够清晰的表达，可以在文章下方的评论区进行评论，也可以邮件至 [email protected]
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK