大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

最小二乘法概述

对于一元线性回归模型, 假设从总体中获取了n组观察值$(x_1,y_1)$,$(x_2,y_2)$，… ，$(x_n,y_n)$。对于平面中的这n个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。 选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。有以下三个标准可以选择：
（1）用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。
（2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。
（3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。这种方法对异常值非常敏感。

　 最常用的是普通最小二乘法（ Ordinary Least Square，OLS）：所选择的回归模型应该使所有观察值的残差平方和达到最小。（Q为残差平方和）- 即采用平方损失函数。

　样本回归模型：
　

$$Y_i=\widehat{\beta}_0+\widehat{\beta}_1X_i+e_i$$

$e_i$是样本$（X_i, Y_i）$的误差。

平方损失函数：

$$Q=\sum_{i=1}^{n}e_i^2=\sum_{i=1}^{n}{(Y_i-\widehat Y_i)}^2=\sum_{i=1}^{n}{(Y_i-\widehat{\beta}_0-\widehat{\beta}_1X_i)}^2$$ 则通过Q最小确定这条直线，即确定

βˆ0,βˆ1 β ^ 0 , β ^ 1
$\widehat{\beta}_0 , \widehat{\beta}_1$，以

βˆ0,βˆ1 β ^ 0 , β ^ 1
$\widehat{\beta}_0 , \widehat{\beta}_1$为变量，把它们看作是Q的函数，就变成了一个求极值的问题，可以通过求导数得到。求Q对两个待估参数的偏导数：

$$\begin{cases} \frac{\partial Q}{\partial \widehat{\beta}_0}=2\sum_{i=1}^{n}{(Y_i-\widehat{\beta}_0-\widehat{\beta}_1X_i)}(-1)=0 \\ \frac{\partial Q}{\partial \widehat{\beta}_1}=2\sum_{i=1}^{n}{(Y_i-\widehat{\beta}_0-\widehat{\beta}_1X_i)}(-X_i)=0 \end{cases}$$ 根据数学知识我们知道，函数的极值点为偏导为0的点。 解得：

$$\widehat{\beta}_1=\frac{n\sum X_iY_i-\sum X_i \sum Y_i}{n\sum X_i^2-(\sum X_i)^2}$$

$$\widehat{\beta}_0=\frac{n\sum X_i^2 \sum Y_i-\sum X_i \sum X_iY_i}{n\sum X_i^2-(\sum X_i)^2}$$ 这就是最小二乘法的解法，就是求得平方损失函数的极值点。 采用多元线性回归模型：

$$Y=\beta+0+\beta_1X_1+\beta_2X_2+...+\beta_nX_n+e$$

$$RSS=\sum_{i=1}^n(Y_i-\widehat{Y_i})^2$$

$$\widehat{\beta}=(X^T X)^{-1} X^Ty$$

线性回归示例

在多元线性回归模型中，当Y值的影响因素不唯一时，采用多元线性回归模型。例商品的销售额可能与电视广告投入，收音机广告投入，报纸广告投入有关系，可以有

$$sales=\beta_0+\beta_1\cdot TV + \beta_2\cdot radio +\beta_3\cdot newspaper$$

pyton代码如下：

import numpy as np
import pandas as pd

#读取数据
data = pd.read_csv('http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv', index_col=0)
data.head()

#计算相关矩阵
data.corr()

#构建X，Y数据
X = data[['TV','radio','newspaper']]
Y = data['sales']
mat(Y)

matrix([[22.1, 10.4,  9.3, 18.5, 12.9,  7.2, 11.8, 13.2,  4.8, 10.6,
          8.6, 17.4,  9.2,  9.7, 19. , 22.4, 12.5, 24.4, 11.3, 14.6,
         18. , 12.5,  5.6, 15.5,  9.7, 12. , 15. , 15.9, 18.9, 10.5,
         21.4, 11.9,  9.6, 17.4,  9.5, 12.8, 25.4, 14.7, 10.1, 21.5,
         16.6, 17.1, 20.7, 12.9,  8.5, 14.9, 10.6, 23.2, 14.8,  9.7,
         11.4, 10.7, 22.6, 21.2, 20.2, 23.7,  5.5, 13.2, 23.8, 18.4,
          8.1, 24.2, 15.7, 14. , 18. ,  9.3,  9.5, 13.4, 18.9, 22.3,
         18.3, 12.4,  8.8, 11. , 17. ,  8.7,  6.9, 14.2,  5.3, 11. ,
         11.8, 12.3, 11.3, 13.6, 21.7, 15.2, 12. , 16. , 12.9, 16.7,
         11.2,  7.3, 19.4, 22.2, 11.5, 16.9, 11.7, 15.5, 25.4, 17.2,
         11.7, 23.8, 14.8, 14.7, 20.7, 19.2,  7.2,  8.7,  5.3, 19.8,
         13.4, 21.8, 14.1, 15.9, 14.6, 12.6, 12.2,  9.4, 15.9,  6.6,
         15.5,  7. , 11.6, 15.2, 19.7, 10.6,  6.6,  8.8, 24.7,  9.7,
          1.6, 12.7,  5.7, 19.6, 10.8, 11.6,  9.5, 20.8,  9.6, 20.7,
         10.9, 19.2, 20.1, 10.4, 11.4, 10.3, 13.2, 25.4, 10.9, 10.1,
         16.1, 11.6, 16.6, 19. , 15.6,  3.2, 15.3, 10.1,  7.3, 12.9,
         14.4, 13.3, 14.9, 18. , 11.9, 11.9,  8. , 12.2, 17.1, 15. ,
          8.4, 14.5,  7.6, 11.7, 11.5, 27. , 20.2, 11.7, 11.8, 12.6,
         10.5, 12.2,  8.7, 26.2, 17.6, 22.6, 10.3, 17.3, 15.9,  6.7,
         10.8,  9.9,  5.9, 19.6, 17.3,  7.6,  9.7, 12.8, 25.5, 13.4]])

##直接根据系数矩阵公式计算
def standRegres(xArr,yArr):
    xMat = mat(xArr); yMat = mat(yArr).T
    xTx = xMat.T*xMat
    if linalg.det(xTx) == 0.0:
        print("This matrix is singular, cannot do inverse")
        return
    ws = xTx.I * (xMat.T*yMat)
    return ws

#求解回归方程系数
X2=X
X2['intercept']=[1]*200
standRegres(X2,Y)

matrix([[ 4.57646455e-02],
        [ 1.88530017e-01],
        [-1.03749304e-03],
        [ 2.93888937e+00]])

##利用现有库求解
from sklearn.linear_model import LinearRegression
linreg = LinearRegression()

linreg.fit(X, Y)
print(linreg.coef_)

[ 0.04576465  0.18853002 -0.00103749  0.        ]

##测试集和训练集的构建
from sklearn.cross_validation import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, Y, random_state=1)
linreg.fit(X_train, y_train)
#结果
print(linreg.intercept_)
print(linreg.coef_)

#预测
y_pred = linreg.predict(X_test)

#误差评估
from sklearn import metrics

# calculate MAE using scikit-learn
print("MAE:",metrics.mean_absolute_error(y_test,y_pred))


# calculate MSE using scikit-learn
print("MSE:",metrics.mean_squared_error(y_test,y_pred)) 


# calculate RMSE using scikit-learn
print("RMSE:",np.sqrt(metrics.mean_squared_error(y_test,y_pred))) 

2.8769666223179318
[0.04656457 0.17915812 0.00345046 0.        ]
MAE: 1.0668917082595208
MSE: 1.9730456202283368
RMSE: 1.404651423032895

##只取两个参数的模型
from sklearn.linear_model import LinearRegression
from sklearn.cross_validation import train_test_split
feature_cols = ['TV', 'radio']

X = data[feature_cols]
y = data['sales']

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=1)

linreg.fit(X_train, y_train)

y_pred = linreg.predict(X_test)
#误差评估
from sklearn import metrics

# calculate MAE using scikit-learn
print("MAE:",metrics.mean_absolute_error(y_test,y_pred))


# calculate MSE using scikit-learn
print("MSE:",metrics.mean_squared_error(y_test,y_pred)) 


# calculate RMSE using scikit-learn
print("RMSE:",np.sqrt(metrics.mean_squared_error(y_test,y_pred))) 

MAE: 1.04775904112126
MSE: 1.9262760418667424
RMSE: 1.3879034699382888

最小二乘法梯度下降

最小二乘法跟梯度下降法都是通过求导来求损失函数的最小值。

相同点：

　　1.本质相同：两种方法都是在给定已知数据（independent & dependent variables）的前提下对dependent variables算出出一个一般性的估值函数。然后对给定新数据的dependent variables进行估算。
　　2.目标相同：都是在已知数据的框架内，使得估算值与实际值的总平方差尽量更小（事实上未必一定要使用平方），估算值与实际值的总平方差的公式为：

$$\Delta=\frac{1}{2} \sum_{i=1}^{m}{(f_{\beta }(\bar{x_{i}})-y_{i})^{2}}$$

其中$\bar{x_{i}}$为第i组数据的independent variable，$y_{i}$为第i组数据的dependent variable，$\beta$为系数向量。

不同点
　　1.实现方法和结果不同：最小二乘法是直接对$\Delta$求导找出全局最小，是非迭代法。而梯度下降法是一种迭代法，先给定一个$\beta$，然后向$\Delta$下降最快的方向调整$\beta$，在若干次迭代之后找到局部最小。梯度下降法的缺点是到最小点的时候收敛速度变慢，并且对初始点的选择极为敏感，其改进大多是在这两方面下功夫。

最小二乘法的目标：求误差的最小平方和，对应有两种：线性和非线性。线性最小二乘的解是closed-form即$x=(A^T A)^{-1}A^Tb$，而非线性最小二乘没有closed-form，通常用迭代法求解。如果把最小二乘看做是优化问题的话，那么梯度下降是求解方法的一种，$x=(A^T A)^{-1}A^Tb$是求解线性最小二乘的一种，高斯-牛顿法和Levenberg-Marquardt则能用于求解非线性最小二乘。