矩阵特征值分解（EDV）与奇异值分解（SVD）在机器学习中的应用

大家好，又见面了，我是你们的朋友全栈君。

参考资料

百度百科词条：特征分解，矩阵特征值，奇异值分解，PCA技术


https://zhuanlan.zhihu.com/p/29846048


https://towardsdatascience.com/all-you-need-to-know-about-pca-technique-in-machine-learning-443b0c2be9a1

说明

在机器学习的各种算法与应用中，常能看到矩阵特征值分解（EDV）与奇异值分解（SVD）的身影，因此想反过来总结一下EDV与SVD在机器学习中的应用，主要是表格化数据建模以及nlp和cv领域。

特征分解定义

特征分解（Eigendecomposition），又称谱分解（Spectral decomposition）是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。需要注意只有对可对角化矩阵才可以施以特征分解。

什么是特征值，特征向量？
设A是n阶方阵，如果数λ和n维非零列向量x使关系式Ax=λx成立，那么这样的数λ称为矩阵A特征值，非零向量x称为A的对应于特征值λ的特征向量。式Ax=λx也可写成( A-λE)X=0。这是n个未知数n个方程的齐次线性方程组，它有非零解的充分必要条件是系数行列式| A-λE|=0。

奇异值分解

奇异值分解（Singular Value Decomposition）是线性代数中一种重要的矩阵分解，奇异值分解则是特征分解在任意矩阵上的推广。

SVD也是对矩阵进行分解，但是和特征分解不同，SVD并不要求要分解的矩阵为方阵。假设我们的矩阵A是一个m×n的矩阵，那么我们定义矩阵A的SVD为：

在机器学习中的应用

1. 在表格化数据中的应用
   （1）PCA降维
   PCA（principal components analysis）即主成分分析技术，又称主分量分析。
   降维是一种数据集预处理技术，往往在数据应用在其他算法之前使用，它可以去除掉数据的一些冗余信息和噪声，使数据变得更加简单高效，提高其他机器学习任务的计算效率。
   原理介绍：
   http://blog.codinglabs.org/articles/pca-tutorial.html?utm_source=wechat_session&utm_medium=social&utm_oi=815517988173254656
   简单的示例：
   https://towardsdatascience.com/all-you-need-to-know-about-pca-technique-in-machine-learning-443b0c2be9a1

   （2）SVD应用于推荐系统
   https://www.cnblogs.com/flightless/p/10424035.html

2. 在nlp中的应用
   基于SVD的隐语意分析（LSA）
   https://blog.csdn.net/weixin_42398658/article/details/85088130#commentBox

3. 在cv中的应用
   SVD应用于图像压缩
   https://blog.csdn.net/qq_40527086/article/details/88925161