大家好,又见面了,我是全栈君,今天给大家准备了Idea注册码。
PCA最小平方误差理论推导
PCA求解其实是寻找最佳投影方向,即多个方向的标准正交基构成一个超平面。
理论思想:在高维空间中,我们实际上是要找到一个d维超平面,使得数据点到这个超平面的距离平方和最小
假设\(x_k\)表示p维空间的k个点,\(z_k\)表示\(x_k\)在超平面D上的投影向量,\(W = {w_1,w_2,…,w_d}\)为D维空间的标准正交基,即PCA最小平方误差理论转换为如下优化问题$$z_k = \sum_{i=1}^d (w_i^T x_k)w_i—(1)$$
注:\(w_i^Tx_k\)为x_k在w_i基向量的投影长度,\(w_i^Tx_kw_i\)为w_i基向量的坐标值
求解:
\(L = (x_k – z_k)^T(x_k-z_k)\)
\(L= x_k^Tx_k – x_k^Tz_k – z_k^Tx_k + z_k^Tz_k\)
由于向量内积性质\(x_k^Tz_k = z_k^Tx_k\)
\(L = x_k^Tx_k – 2x_k^Tz_k + z_k^Tz_k\)
将(1)带入得$$x_k^Tz_k = \sum_{i=1}dw_iTx_kx_k^Tw_i$$
根据约束条件s.t.得$$z_k^Tz_k = \sum_{i=1}dw_iTx_k^Tx_kw_i$$
根据奇异值分解$$\sum_{i=1}dw_iTx_kx_k^Tw_i = tr(WTx_kTx_kW)$$
等价于带约束得优化问题:$$argmaxtr(WTXXTW)$$
最佳超平面W与最大方差法求解的最佳投影方向一致,即协方差矩阵的最大特征值所对应的特征向量,差别仅是协方差矩阵\(\xi\)的一个倍数
定理
注:X为(n,p),Z为(n,q),q < p,w为(p,q)
该定理表达的意思也就是平方差理论,将降维后的矩阵通过W^T投影回去,再与X计算最小平方差,值越小说明信息损失越少
\(\phi\)目标函数最小时,W为X的前q个特征向量矩阵且\(Z=W^TX\)
以上优化可以通过拉格朗日对偶问题求得,最终也会得到$$argmaxtr(WTXXTW)$$
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/120024.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...