大家好,又见面了,我是你们的朋友全栈君。
前面的两篇文章比较清楚浅显的介绍了线性回归、多项式回归,并了解到其实多项式回归也可以看作是一种特殊的线性回归形式,也就是说回归的核心就是线性回归。其原理都是最小二乘法,这是一种很简单、很方便的算法,但也有它的局限性,所以本文讲述另外的回归方式岭回归、LASSO回归,作为一个补充,解决最小二乘法的一些缺点。
最小二乘法的局限性:
上面是最小二乘法的核心算法,通过公式我们可以看到该公式成立的条件就是不等于0,也就是能求逆(可以用linalg.det(X)等方法判断),而当变量之间的相关性较强(多重共线性),或者m(特征数)大于n(样本数),上式中的X不是满秩矩阵。那就会使得的结果趋近于0,造成拟合参数的数值不稳定性增加(参数间的差距变化很大),这也就是普通最小二乘法的局限性。
下面通过希尔伯尔矩阵来验证最小二乘法的局限性(希尔伯特矩阵每列之间存在很强的相关性 ):
"""生成 10x10 的希尔伯特矩阵
"""
from scipy.linalg import hilbert
x = hilbert(10)
"""希尔伯特转置矩阵与原矩阵相乘
"""
import numpy as np
mat = np.linalg.det(np.matrix(x).T*np.matrix(x)) # det计算行列式 dot计算一维内积或多维矩阵相乘
print(mat) # x.T*x 趋近于0
皮尔逊相关系数通常用于度量两个变量 X
和 Y
之间的线性相关程度,其值介于 -1
与 1
之间。其中,数值越趋近于 1
表示相关程度越高,反之趋近于 -1
则表示线性相关度越低。
在pandas中提供了直接计算相关系数的方法 .corr(),我们再来验证一下列之间的相关性:
pd.DataFrame(x, columns=['x%d'%i for i in range(1,11)]).corr()
可以看到,列之间的相关性是相当的大。
综上所示,普通最小二乘法带来的局限性,导致许多时候都不能直接使用其进行线性回归拟合,尤其是下面两种情况:
-
数据集的列(特征)数量 > 数据量(行数量),即 X 不是列满秩。
-
数据集列(特征)数据之间存在较强的线性相关性,即模型容易出现过拟合。
岭回归:
岭回归推导:
为了解决上述两种情况出现的问题,岭回归(Ridge Regression)应运而生。岭回归可以被看作为一种改良后的最小二乘法,它通过向损失中添加正则项(2-范数)有效防止模型出现过拟合,且有助于解决非满秩条件下求逆困难的问题,从而提升模型的解释能力。岭回归推导过程如下:
减少不重要的参数项,统计学中也叫“缩减”。更深入的解释,可以查看官方一点的文档。
通过scilit-learn提供的方法可以很方便的使用岭回归。
岭回归拟合:
sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True, normalize=False, copy_X=True, max_iter=None, tol=0.001, solver=’auto’, random_state=None)
-
alpha
: 正则化强度,默认为 1.0,对应公式中的 λ。正则化强度; 必须是正浮点数。 正则化改善了问题的条件并减少了估计的方差。 较大的值指定较强的正则化。 Alpha对应于其他线性模型(如Logistic回归或LinearSVC)中的。 如果传递数组,则假定惩罚被特定于目标。 因此,它们必须在数量上对应。 -
fit_intercept
: 默认为 True,计算截距项。如果设置为false,则不会在计算中使用截距(例如,数据预期已经居中)。 -
normalize
: 默认为 False,不针对数据进行标准化处理。如果为真,则回归X将在回归之前被归一化。 当fit_intercept设置为False时,将忽略此参数。 当回归量归一化时,注意到这使得超参数学习更加鲁棒,并且几乎不依赖于样本的数量。 相同的属性对标准化数据无效。然而,如果你想标准化,请在调用normalize = False训练估计器之前,使用preprocessing.StandardScaler处理数据。 -
copy_X
: 默认为 True,即使用数据的副本进行操作,防止影响原数据。 -
max_iter
: 最大迭代次数,默认为 None。共轭梯度求解器的最大迭代次数。 对于’sparse_cg’和’lsqr’求解器,默认值由scipy.sparse.linalg确定。 对于’sag’求解器,默认值为1000。 -
tol
: 数据解算精度。 -
solver
: 根据数据类型自动选择求解器。{‘auto’,’svd’,’cholesky’,’lsqr’,’sparse_cg’,’sag’} -
random_state
: 随机数发生器。
更多的参数中文详解可以参考这里
比较重要的就是alpha参数的选择了,其代表了正则化强度,我们可以通过类似网格搜索的单层方式来得到不同的拟合结果(其中y值为随机创建的w乘上矩阵得到的):
w = np.random.randint(2,10,10) # 随机生成 w 系数
y_temp = np.matrix(x) * np.matrix(w).T # 计算 y 值
y = np.array(y_temp.T)[0] #将 y 值转换成 1 维行向量 相当于给矩阵创建一个真实值
"""不同 alpha 参数拟合
"""
alphas = np.linspace(-3,2,20)
coefs = []
for a in alphas:
ridge = Ridge(alpha=a, fit_intercept=False)
ridge.fit(x, y)
coefs.append(ridge.coef_)
"""绘制不同 alpha 参数结果
"""
from matplotlib import pyplot as plt
plt.plot(alphas, coefs) # 绘制不同 alpha 参数下的 w 拟合值 这里一共10条
plt.scatter(np.linspace(0,0,10), parameters[0]) # 普通最小二乘法拟合的 w 值放入图中
plt.xlabel('alpha')
plt.ylabel('w')
plt.title('Ridge Regression')
plt.show()
由图可见,当 alpha
取值越大时,正则项主导收敛过程,各 w 系数趋近于 0
。当 alpha
很小时,各 w 系数波动幅度变大。 所以可以选择收敛基本平稳的alpha点。
LASSO回归:
当我们使用普通最小二乘法进行回归拟合时,如果特征变量间的相关性较强,则可能会导致某些 w 系数很大,而另一些系数变成很小的负数。所以,我们通过上文中的岭回归添加 L2 正则项来解决这个问题。
与岭回归相似的是,LASSO 回归同样是通过添加正则项来改进普通最小二乘法,不过这里添加的是 L1 正则项。即:
这里关于L1、L2没有做很详细的解释,如果需要可以参考这里,简单说下:
L1:L1正则化最大的特点是能稀疏矩阵,进行庞大特征数量下的特征选择
L2:L2正则能够有效的防止模型过拟合,解决非满秩下求逆困难的问题
LASSO回归拟合:
sklearn.linear_model.Lasso(alpha=1.0, fit_intercept=True, normalize=False, precompute=False, copy_X=True, max_iter=1000, tol=0.0001, warm_start=False, positive=False, random_state=None, selection=’cyclic’)
-
alpha
: 正则化强度,默认为 1.0。 -
fit_intercept
: 默认为 True,计算截距项。 -
normalize
: 默认为 False,不针对数据进行标准化处理。 -
precompute
: 是否使用预先计算的 Gram 矩阵来加速计算。 -
copy_X
: 默认为 True,即使用数据的副本进行操作,防止影响原数据。 -
max_iter
: 最大迭代次数,默认为 1000。 -
tol
: 数据解算精度。 -
warm_start
: 重用先前调用的解决方案以适合初始化。 -
positive
: 强制系数为正值。 -
random_state
: 随机数发生器。 -
selection
: 每次迭代都会更新一个随机系数。
"""使用LASSO 回归拟合并绘图
"""
from sklearn.linear_model import Lasso
alphas = np.linspace(-2,2,10)
lasso_coefs = []
for a in alphas:
lasso = Lasso(alpha=a,fit_intercept=False)
lasso.fit(x,y)
lasso_coefs.append(lasso.coef_)
plt.plot(alphas,lasso_coefs) # 绘制不同alpha下的 w 拟合值
plt.scatter(np.linspace(0,0,10),parameters[0]) # 普通最小二乘法的 w 放入图中
plt.xlabel('alpha')
plt.ylabel('w')
plt.title('Lasso Regression')
plt.show()
由图可见,当 alpha
取值越大时,正则项主导收敛过程,各 w 系数趋近于 0
。当 alpha
很小时,各 w 系数波动幅度变大。
参考文章:
https://blog.csdn.net/jinping_shi/article/details/52433975
https://blog.csdn.net/qq_36523839/article/details/82024623
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/135454.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...