5
特征降维算法总结比较
source link: https://liangyaorong.github.io/blog/2017/%E9%99%8D%E7%BB%B4%E7%AE%97%E6%B3%95%E6%80%BB%E7%BB%93%E6%AF%94%E8%BE%83/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
1 特征提取(Feature extration)
特征提取指通过特征组合的方式生成新特征的过程.这个组合可以是线性的(如,PCA),也可以是非线性的(如,PCA的非线性推广:KPCA)
1.1 主成分分析 (Principal Component Analysis, PCA)
1.2 核主成分分析 (Kernel Principal Component Analysis, KPCA)
1.3 线性判别分析 (LDA)
LDA与PCA最大的差别在于:PCA是无监督的,而LDA是有监督的; PCA着重描述特征,而LDA着重抓住其判别特征; 因此PCA变换矩阵是正交的,而LDA一般不是正交的(并不关注).
线性判别分析的核心思想
通过线性变换,使得变换后的矩阵对应的,不同类别的样本尽可能地分开.
什么叫尽可能分开呢?可以从两个方面来衡量.
1. 各类样本的类间方差尽可能大.
右方两类的样本中心较左方相隔更远,因此分类效果更好.
2. 各类样本的类内方差尽可能小.
光考虑类间中心距离还是不够的.从上图可以看到,若投影到x1上,虽然两类中心相比投影到x2上,相隔较远.但由于两类在x1上的方差都很大,因此从分类角度看,效果比不上投影到x2上.
因此,必须同时考虑以上两方面才能达到我们想要的效果.
看,这其实就是方差分析的思想. 因此目标函数可以取统计意义上的F值.F值越大越好.
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK