3
局部加权线性回归
source link: https://ylhao.github.io/2018/05/13/228/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
局部加权线性回归
创建时间:2018-05-13 10:21
字数:349
阅读:28
局部加权回归算法是对线性回归的扩展，当目标假设是线性模型时，使用线性回归自然能拟合的很好，但如果目标假设不是线性模型，比如一个忽上忽下的函数，这时用线性模型就拟合的很差。为了解决这个问题，当我们在预测一个点的值时，我们选择和这个点相近的点而不是全部的点做线性回归。
J(θ)=12m∑i=1w(i)(hθ(x(i))−y(i))2J(θ)=12∑i=1mw(i)(hθ(x(i))−y(i))2
w(i)w(i) 的计算
w(i)w(i) 是权值，计算方式如下：
w(i)=exp(−(x(i)−x)22τ2)w(i)=exp(−(x(i)−x)22τ2)
其中分子部分的 (x(i)−x)2(x(i)−x)2 度量了两个样本点之间的距离，分母部分的 ττ 则是模型的一个超参数，控制了权值随距离下降的速率。可以发现距离越远，权值越小。那距离越远的点在目标函数中起的作用就越小。
对于每一个要查询的点，都要先计算数据集中的每个样本点的权重，然后重新依据整个数据集训练一个线性回归模型出来，计算代价极高。
- 斯坦福机器学习公开课 —— 吴恩达
- 斯坦福ML公开课笔记3 —— 张雨石
转载请注明来源，欢迎对文章中的引用来源进行考证，欢迎指出任何有错误或不够清晰的表达，可以在文章下方的评论区进行评论，也可以邮件至 [email protected]
文章标题:局部加权线性回归
文章字数:349
本文作者:ylhao
发布时间:2018-05-13, 10:21:46
最后更新:2019-06-07, 11:50:53
原始链接:https://ylhao.github.io/2018/05/13/228/版权声明: "署名-非商用-相同方式共享 4.0" 转载请保留原文链接及作者。
0 条评论
Error: API rate limit exceeded for 141.164.63.164. (But here's the good news: Authenticated requests get a higher rate limit. Check out the documentation for more details.).
来做第一个留言的人吧！
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK