四大机器学习降维算法:PCA、LDA、LLE、Laplacian Eigenmaps

loading 分享 2026-7-16 下载文档

确定点与点之间的权重大小,例如选用热核函数来确定,如果点i和点j相连,那么它们关系的权重设定为:

使用最小的m个非零特征值对应的特征向量作为降维后的结果输出。 前面提到过,Laplacian Eigenmap具有区分数据点的特性,可以从下面的例子

看出:

见图1所示,左边的图表示有两类数据点(数据是图片),中间图表示采用Laplacian Eigenmap降维后每个数据点在二维空间中的位置,右边的图表示采用PCA并取前两个主要方向投影后的结果,可以清楚地看到,在此分类问题上,

Laplacian Eigenmap的结果明显优于PCA。

图2 roll数据的降维

图2说明的是,高维数据(图中3D)也有可能是具有低维的内在属性的(图中roll实际上是2D的),但是这个低维不是原来坐标表示,例如如果要保持局部关系,蓝色和下面黄色是完全不相关的,但是如果只用任何2D或者3D的距离来描述都是不准确的。

下面三个图是Laplacian Eigenmap在不同参数下的展开结果(降维到2D),可以看到,似乎是要把整个带子拉平了。于是蓝色和黄色差的比较远。


四大机器学习降维算法:PCA、LDA、LLE、Laplacian Eigenmaps.doc 将本文的Word文档下载到电脑
搜索更多关于: 四大机器学习降维算法:PCA、LDA、LLE、Laplaci 的文档
相关推荐
相关阅读