PCA最小平方误差理论推导

PCA求解其实是寻找最佳投影方向，即多个方向的标准正交基构成一个超平面。

理论思想：在高维空间中，我们实际上是要找到一个d维超平面，使得数据点到这个超平面的距离平方和最小

假设$x_k$表示p维空间的k个点，$z_k$表示$x_k$在超平面D上的投影向量，$W = {w_1,w_2,…,w_d}$为D维空间的标准正交基，即PCA最小平方误差理论转换为如下优化问题$$z_k = \sum_{i=1}^d (w_i^T x_k)w_i—(1)$$

\[argmin \sum_{i=1}^k||x_k – z_k||_2^2 \]

\[s.t. w_i^Tw_j = p(当i==j时p=1,否则p=0) \]

注：$w_i^Tx_k$为x_k在w_i基向量的投影长度，$w_i^Tx_kw_i$为w_i基向量的坐标值

求解：

$L = (x_k – z_k)^T(x_k-z_k)$

$L= x_k^Tx_k – x_k^Tz_k – z_k^Tx_k + z_k^Tz_k$

由于向量内积性质$x_k^Tz_k = z_k^Tx_k$

$L = x_k^Tx_k – 2x_k^Tz_k + z_k^Tz_k$

将(1)带入得$$x_k^Tz_k = \sum_{i=1}^dw_iTx_kx_k^Tw_i$$

\[z_k^Tz_k = \sum_{i=1}^d\sum_{j=1}^d(w_i^Tx_kw_i)^T(w_j^Tx_kw_j) \]

根据约束条件s.t.得$$z_k^Tz_k = \sum_{i=1}^dw_iTx_k^Tx_kw_i$$

\[L =x_k^Tx_k – \sum_{i=1}^dw_i^Tx_kx_k^Tw_i \]

根据奇异值分解$$\sum_{i=1}^dw_iTx_kx_k^Tw_i = tr(W^Tx_kTx_kW)$$

\[L =argmin\sum_{i=1}^kx_k^Tx_k – tr(W^Tx_k^Tx_kW) = argmin\sum_{i=1}^k- tr(W^Tx_k^Tx_kW) + C \]

等价于带约束得优化问题：$$argmaxtr(W^TXXTW)$$

\[s.t. W^TW = I \]

最佳超平面W与最大方差法求解的最佳投影方向一致，即协方差矩阵的最大特征值所对应的特征向量，差别仅是协方差矩阵$\xi$的一个倍数

定理

\[argmin\phi(W,Z|X) = tr((X-W^TZ)^T(X-W^TZ)) = ||X-W^TZ||_F^2 \]

\[s.t.W^TW=I_q \]

注：X为(n,p),Z为(n,q),q < p,w为(p,q)

该定理表达的意思也就是平方差理论，将降维后的矩阵通过W^T投影回去，再与X计算最小平方差，值越小说明信息损失越少

$\phi$目标函数最小时，W为X的前q个特征向量矩阵且$Z=W^TX$

以上优化可以通过拉格朗日对偶问题求得，最终也会得到$$argmaxtr(W^TXXTW)$$

\[s.t. W^TW = I \]

发布者：全栈程序员-用户IM，转载请注明出处：https://javaforall.cn/120024.html原文链接：https://javaforall.cn

【正版授权，激活自己账号】： Jetbrains全家桶Ide使用，1年售后保障，每天仅需1毛

【官方授权正版激活】： 官方授权正版激活支持Jetbrains家族下所有IDE 使用个人JB账号...