1. mm：训练样本数目
2. (x(i),y(i))(x(i),y(i))：第 i 个样本

h(x)=n∑i=1θixi=θTxh(x)=∑i=1nθixi=θTx

J(θ)=12mm∑i=1(hθ(x(i))−y(i))2J(θ)=12m∑i=1m(hθ(x(i))−y(i))2

对目标函数的解释

“最小二乘法”的核心就是保证所有数据偏差的平方和最小。为什么要让模型的预测数据与实际数据之差的平方而不是绝对值和最小来优化模型参数？这里做以下推导说明。

对于每一个样例(x(i),y(i))(x(i),y(i))，假设预测值和真实值存在以下关系：
y(i)=θTx(i)+ϵ(i)y(i)=θTx(i)+ϵ(i)
其中ϵ(i)ϵ(i) 表示预测值和真实值之间的差值。基于这个假设进一步假设:
ϵ∼N(0,σ2)ϵ∼N(0,σ2)
因为这个误差受很多因素的影响，这些因素都是随机分布的，根据中心极限定理，许多随机变量的和趋于正态分布。可以知道假设二是合理的。
P(ϵ(i))=1√2πσexp(−(ϵ(i))22σ2)P(ϵ(i))=12πσexp(−(ϵ(i))22σ2)
当给定参数 θθ 和变量 xx 时，有以下式成立：
P(y(i)|x(i);θ)=1√2πσexp(−(θTx(i)−y(i))22σ2)P(y(i)|x(i);θ)=12πσexp(−(θTx(i)−y(i))22σ2)
进一步假设各个样例的误差独立同分布，可以得到似然函数：
l(θ)=P(Y|X;θ) =m∏i=1exp(−(θTx(i)−y(i))22σ2)l(θ)=P(Y|X;θ)=∏i=1mexp(−(θTx(i)−y(i))22σ2)
似然函数表示的是在参数 θθ 下，数据集出现的概率。我们这里要做的工作就是找到让数据集出现概率最大的参数 θθ，也就是极大似然估计。将似然函数转化为对数似然：
L(θ)=logl(θ) =−mlog√2πσ−12σ2m∑i=1(θTx(i)−y(i))2L(θ)=logl(θ)=−mlog2πσ−12σ2∑i=1m(θTx(i)−y(i))2
到这里我们已经推导出了目标函数的形式。

批梯度下降

θj:=θj−α⋅∂∂θjJ(θ) :=θj−α⋅12mm∑i=1(hθ(x(i))−y(i))x(i)jθj:=θj−α⋅∂∂θjJ(θ):=θj−α⋅12m∑i=1m(hθ(x(i))−y(i))xj(i)

随机梯度下降

当每次只用一个样本进行训练时，J(θ)J(θ) 退化成以下形式：
J(θ)=(hθ(x(i))−y(i))2J(θ)=(hθ(x(i))−y(i))2
此时参数更新公式变为以下形式：
θj:=θj−α⋅∂∂θjJ(θ) :=θj−α⋅(hθ(x(i))−y(i))x(i)jθj:=θj−α⋅∂∂θjJ(θ):=θj−α⋅(hθ(x(i))−y(i))xj(i)
随机梯度下降（stochastic gradient descent）可能永远不能收敛到最小值，参数 θθ 将会一直在使 J(θ)J(θ)取最小值的附近振荡，但实际情况时，当数据量足够大的时候，这已经足够了。

1. 斯坦福机器学习公开课 —— 吴恩达
2. 斯坦福ML公开课笔记 —— 张雨石

文章标题:线性回归（一）

文章字数:703

本文作者:ylhao

发布时间:2018-05-13, 08:55:28

最后更新:2019-06-07, 11:50:53

版权声明: "署名-非商用-相同方式共享 4.0" 转载请保留原文链接及作者。