梯度下降算法推导

为什么梯度的反方向为下降速度最快的方向？

x ， y 都表示权重，f 表示损失函数。

1.可由近似公式得到： $png.latex?%20%20f(x+%20%5CDelta%20x,y+%5CDelta%20y)=f(x,y)+%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20x%7D%20%5Ccdot%5CDelta%20x+%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20y%7D%20%5Ccdot%5CDelta%20y$ 2.即：

$png.latex?%20f(x+%5CDelta%20x,y+%5CDelta%20y)-f(x,y)=%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20x%7D%20%5Ccdot%20%5CDelta%20x+%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20y%7D%20%5Ccdot%5CDelta%20y$

$png.latex?%20%20%20%5CDelta%20z=%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20x%7D%20%5Ccdot%20%5CDelta%20x+%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20y%7D%20%5Ccdot%5CDelta%20y$

因为 delta z 表示变化量，最大值表示变化最大（增加最大），即增加最快的方向。

最小值表示下降最大，即下降最快的方向。等式右边可写作向量的形式。

$equation?tex=%20%20(%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20x%7D%EF%BC%8C%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20y%7D)%5Ccdot(%5CDelta%20x,%5CDelta%20y)$

左边表示梯度，所以梯度的反方向乘积最小，二者夹角-180度，即下降最快。

所以： $equation?tex=%20%20(%5CDelta%20x,%5CDelta%20y)%20=%20-%20a(%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20x%7D%EF%BC%8C%5Cfrac%7B%5Cpartial%20f%7D%7B%5Cpartial%20y%7D)$