线性回归到底要干什么，顾名思义很简单，即在已有数据集上通过构建一个线性的模型来拟合该数据集特征向量的各个分量之间的关系，对于需要预测结果的新数据，我们利用已经拟合好的线性模型来预测其结果。关于线性回归的方法，现在使用得比较广泛的就是梯度下降和最小二乘法；我打算把最小二乘法和梯度下降分两篇博客来写，这篇就来说一说我对线性回归及最小二乘法的理解以及原理实现。

线性模型在二维空间中就是一条直线，在三维空间是一个平面，高维空间的线性模型不好去描述长什么样子；如果这个数据集能够用一个线性模型来拟合它的数据关系，不管是多少维的数据，我们构建线性模型的方法都是通用的。之前看吴恩达机器学习视频，第一节课讲的就是线性回归算法，课程里面提到了一个非常简单的案例：房屋估价系统。房屋估价系统问题就是当知道房屋面积、卧室个数与房屋价格的对应关系之后，在得知一个新的房屋信息后如何得到对应的新房屋价格，如果我们将房屋面积用x1表示，卧室个数用x2表示，即房屋价格h(x)可以被表示为房屋面积与卧室个数的一维线性方程：

这就是我们所说的线性模型，当然这个案例中只有房屋面积和卧室个数两个特征分量作，现实情况下我们要拟合的模型可能有相当多的特征分量，那么线性模型中对应的权重值θ也会有相同多的数量。为了方便表示我们使用矩阵和向量来表示这些数据

向量θ（长度为n）中每一个分量都是估计表达式函数h(x)中一个参数，矩阵X（m*n）表示由数据集中每一个样本的特征向量所组成的矩阵。其实这样一个看起来很简单的式子，它的本质经常就是一个规模极其庞大的线性方程组。如果我们用向量Y（长度为m）来表示数据集的实际值，如果用实际值来建立一个方程组，参数向量θ中的每一个值就是我们要求的未知量；大多数情况下建立的是一个超定方程组（没有确定的解），这个时候我们只能求出超定方程组的最优解。通过建立一个损失函数来衡量估计值和实际之间的误差的大小，我们将最小化损失函数作为一个约束条件来求出参数向量的最优解。

---

函数J(θ)即为损失函数，它计算出数据集中每一个样例的估计值和实际值的平方差并求取平均。然后就是我们的最小二乘法登场了，最小二乘法通过数学推导（后面给出证明）可以直接得到一个标准方程，这个标准方程的解就是最优的参数向量。

推导方法一

最小二乘法通过数学推导出标准方程的过程其实非常简单，知乎上有一篇博客https://zhuanlan.zhihu.com/p/22474562写得很详细，这里借鉴一下：

---

推导方法二

推导方法三 （利用Hessian矩阵判断是否是极小值点）

通过正规方程计算得到最优的参数向量之后，就可以确定线性回归方程了，预测只需要将特征向量代入到回归方程之中，就可以计算出估计值了。

既然弄清了原理，那么实现就会显得非常简单；考虑到这个算法过程中使用矩阵乘法的次数很多，所以我使用了python语言以及调用numpy库来实现线性回归的算法，这里使用了sklearn库中的波士顿房价数据集，代码如下

import numpy as np
from sklearn.datasets import load_boston  # 导入博士顿房价数据集
from sklearn import linear_model

class LinerRegression:
    M_x = []  #
    M_y = []  #
    M_theta = []  # 参数向量
    trained = False

    def __init__(self):
        pass

    def regression(self, data, target):
        self.M_x = np.mat(data)
        # 每个向量添加一个分量1，用来对应系数θ0
        fenliang = np.ones((len(data), 1))
        self.M_x = np.hstack((self.M_x, fenliang))
        self.M_y = np.mat(target)
        M_x_T = self.M_x.T  # 计算X矩阵的转置矩阵
        self.M_theta = (M_x_T * self.M_x).I * M_x_T * self.M_y.T  # 通过最小二乘法计算出参数向量
        print('Start to train it with my own implementation of liearRegression')
        print(self.M_theta)
        self.trained = True

    def predict(self, vec):
        if not self.trained:
            print("You haven't finished the regression!")
            return
        M_vec = np.mat(vec)
        fenliang = np.ones((len(vec), 1))
        M_vec = np.hstack((M_vec, fenliang))
        estimate = np.matmul(M_vec, self.M_theta)
        return estimate

def test_my_linear_regression():
    # 从sklearn的数据集中获取相关向量数据集data和房价数据集target
    data, target = load_boston(return_X_y=True)
    lr = LinerRegression()
    lr.regression(data, target)
    # 提取一批样例观察一下拟合效果
    test = data[::51]
    M_test = np.mat(test)
    real = target[::51]  # 实际数值real
    estimate = np.array(lr.predict(M_test))  # 回归预测数值estimate
    # 打印结果
    for i in range(len(test)):
        print("实际值:", real[i], " 估计值:", estimate[i, 0])

def test_sklearn_liear_regression():
    data, target = load_boston(return_X_y=True)
    clf = linear_model.LinearRegression()
    clf.fit(data, target)
    print('Start to train it with Sklearn ')
    print(clf.coef_)
    print(clf.intercept_)

if __name__ == '__main__':
    test_sklearn_liear_regression()
    test_my_linear_regression()

运行结果如下：

Start to train it with Sklearn 
[-1.08011358e-01  4.64204584e-02  2.05586264e-02  2.68673382e+00
 -1.77666112e+01  3.80986521e+00  6.92224640e-04 -1.47556685e+00
  3.06049479e-01 -1.23345939e-02 -9.52747232e-01  9.31168327e-03
 -5.24758378e-01]
36.45948838509001
Start to train it with my own implementation of liearRegression
[[-1.08011358e-01]
 [ 4.64204584e-02]
 [ 2.05586264e-02]
 [ 2.68673382e+00]
 [-1.77666112e+01]
 [ 3.80986521e+00]
 [ 6.92224640e-04]
 [-1.47556685e+00]
 [ 3.06049479e-01]
 [-1.23345939e-02]
 [-9.52747232e-01]
 [ 9.31168327e-03]
 [-5.24758378e-01]
 [ 3.64594884e+01]]
实际值: 24.0  估计值: 30.003843377016256
实际值: 20.5  估计值: 23.97222284868958
实际值: 18.6  估计值: 19.79013683546337
实际值: 19.4  估计值: 17.286018936122648
实际值: 50.0  估计值: 43.18949843697001
实际值: 20.9  估计值: 21.695808865539043
实际值: 33.4  估计值: 35.56226856966765
实际值: 21.7  估计值: 22.718066074783085
实际值: 17.2  估计值: 13.70756369210629
实际值: 20.0  估计值: 18.51247609292085

可以看到用Sklearn里LinearRegarssion训练得到的参数其实和我实现的结果是一样的。
另外
绝大多数样例通过线性回归模型预测的结果与真实结果十分接近，但是存在有一定的误差，可以接受。

参考资料
https://blog.csdn.net/qq_32864683/article/details/80488523
https://blog.csdn.net/perfect_accepted/article/details/78383434