curveball优化算法推导

2 years ago

source link: https://caoxiaoqing.github.io/2018/08/08/curveball%E4%BC%98%E5%8C%96%E7%AE%97%E6%B3%95%E6%8E%A8%E5%AF%BC/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

curveball优化算法推导

前段时间，VGG 的一拨人搞了个叫 curveball 的优化算法，能够将二阶信息用起来，同时避免了之前的传统方法要么去近似 Hessian 矩阵的逆，要么通过 conjugate-gradient 的方法去得到 Hessian 矩阵的逆，这些传统方法既耗时又对噪声敏感。而 curveball 算法并不需要直接算 Hessian 矩阵和它的逆，每次只是去估计梯度与 Hessian 矩阵的乘积即可，所付出的代价仅仅是额外的两次正向传播。由于这篇文章写的极为简略，很多过程都直接略掉了，今天我们就来推导这个算法，将作者略去的部分补上。

文章链接：点我

文章代码 github 链接：点我

本文推导内容的 pdf 链接：点我