5
主成分回归与偏最小二乘回归
source link: https://yihui.org/cn/2008/09/principle-component-regression-and-partial-least-square-regression/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
主成分回归与偏最小二乘回归
谢益辉 / 2008-09-26
我一直都觉得主成分回归（Principle Component Regression，PCR）是很奇怪的方法，原因是主成分分析仅仅与自变量有关，为什么用自变量自身的协方差结构做出来的成分（Principle Component，PC）可以去和因变量作回归呢？PCA 本身与因变量毫无关系，难道 PC 就会与 Y 有很好的关系？
PCR 的优点（大家一般都这么说）在于 PC 是互相独立的，这样的话回归便不会有多重共线性的问题（大家对此感到很高兴），然而这里面潜在的危险就是，万一成分与因变量无关呢？
事实上我的这点疑虑早已经有人写过文章了，Ali S. Hadi 和 Robert F. Ling（1998）在 The American Statistician 上发表了一篇关于 PCR 的警告，文章给出了一个例子，例子的现象就是，前 p-1 个 PC 跟因变量一点关系都没有，而最后一个 PC 解释了因变量所有的变异。奇怪么？不奇怪。作者们也这么说：原因在于 PCA 仅仅依赖于 X，如果非要用 PC 的方法，那么应该考虑 PC 对因变量的贡献。
说白了，偏最小二乘回归（PLSR）基本上就是这个问题的答案。
← 国内关于空间统计学的书及国外的部分材料 Inverse Empirical Cumulative Distribution →
Disqus
Utterances
Preferences
© Yihui Xie 2005 - 2020
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK