大家好,又见面了,我是全栈君,今天给大家准备了Idea注册码。
样本方差推导
样本方差公式$$S = \frac{1}{n-1}\sum_{i=1}n(x_i-\mu_i)2$$
扩展开来得到$$S = \frac{1}{n-1}[(X-\frac{1}{n}XTI_nI_nT)T(X-\frac{1}{n}XTI_nI_n^T)]$$
令\(H = I_n – \frac{1}{n}I_nI_n^T\)得$$S = \frac{1}{n-1}X^THX$$
其中H为等幂矩阵HH=H和中心矩阵\(H_n*I_n = 0\)
核PCA推导
核函数:设X是输入空间(\(R^n\)的子集或离散子集),又F为特征空间(希尔伯特空间),如果存在一个从X到F的隐射$$\phi (X):X -> F$$使得对所有x,z\in X,函数K(x,z)满足条件$$K(x,z) = \phi (x)\bullet \phi (z)$$
下面推导F投影到的主成分定义的平面,根据F样本方差的特征值分解得(为推导方便去掉前面的(\(\frac{1}{n-1}\))$$F^THFV_i = \lambda _i V_i$$由于H为等逆矩阵,则$$F^THHFV_i = \lambda _i V_i$$
由于想得到F很难,我们换一种思路将求F转移求K上,根据AAT与ATA的关系:非零特质值相同,得到$$HFF^THU_i = \lambda _iU_i $$
两边同时乘以\(F^TH\)得到$$FTHHFFTHU_i = \lambda _iF^THU_i$$
从上式可以得到\(F^THU_i\)为\(F^THHF\)的特征向量
将\(F^THU_i\)进行归一化$$U_{normal} = \frac{FTHU_i}{{||U_iTHFF^THU_i||}_2}$$
由于\(HFF^TH = HKH = \lambda _i\),则$$U_{normal} = \lambda {-\frac{1}{2}}FTHU_i$$
F投影到\(U_normal\)定义的平面$$P = F_{center} U_{normal}$$
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/120025.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...