多元线性回归改进 – 潘登同学的Machine Learning笔记
文章目录
(简单回顾)多元线性回归模型
-
总目标：预测 -
模型：
y = β 0 + β 1 x 1 + ⋯ + β k x k y = \beta_0 + \beta_1x_1 + \cdots + \beta_kx_k y=β0+β1x1+⋯+βkxk -
优化目标：MSE
L o s s = ∑ n = 1 m e r r o r 2 = ∑ n = 1 m ( y ^ − y ) 2 Loss = \sum_{n=1}^{m} error^{2} = \sum_{n=1}^{m} (\hat{y} - y)^{2} Loss=n=1∑merror2=n=1∑m(y^−y)2 -
优化方法:梯度下降法
θ j t + 1 = θ j t − η ∙ g r a d i e n t j \theta_j^{t+1} = \theta_j^{t} - \eta \bullet gradient_j θjt+1=θjt−η∙gradientj
归一化normalization
- 一个问题:
如果现在多元线性回归中有两个x, 分别代表 x 1 x_1 x1土地价格和 x 2 x_2 x2中长期贷款利率, y表示房价水平;我们知道利率水平都是以5.1%这样的百分数形式出现的, 而土地价格动辄百万;
根据经济学的直觉, 在多元线性回归中
θ
1
\theta_1
θ1肯定要比
θ
2
\theta_2
θ2小得多, 不然因为
x
1
x_1
x1的量级远超过
x
2
x_2
x2，房价就由土地价格完全决定了;
再看回我们的梯度下降算法:
θ
j
t
+
1
=
θ
j
t
−
η
∙
g
r
a
d
i
e
n
t
j
g
j
=
(
θ
T
X
−
Y
)
x
j
\begin{aligned} \theta_j^{t+1} &= \theta_j^{t} - \eta \bullet gradient_j \\ g_j &= (\theta^{T}X - Y)x_j\\ \end{aligned}
θjt+1gj=θjt−η∙gradientj=(θTX−Y)xj
仔细揣摩上式,可以发现梯度下降法其实是受两个因素影响的:
- θ \theta θ距 θ ^ \hat{\theta} θ^的距离, 也就是距要求的 θ \theta θ的距离;
- g r a d i e n t gradient gradient的大小;
可以观察到 g j g_j gj的大小其实是收到 x j x_j xj影响的, 而量纲大的土地价格 g r a d i e n t 1 gradient_1 gradient1就会大, 走的就快；而碰巧量纲大的 θ 1 \theta_1 θ1又比较小, 假设起点都是0, 在这两个因素的共同作用下, θ 1 \theta_1 θ1能更快的收敛;
所以我们需要消除量纲, 消除量纲这种事情其实在数据统计分析里面也经常做, 目的其实差不太多,我们只是用梯度下降的视角去解释了一下；
归一化的方法
-
最大值最小值归一化
X i , j ∗ = X i , j − X j m i n X j m a x − X j m i n X_{i,j}^{*} = \frac{X_{i,j}-X_j^{min}}{X_j^{max}-X_j^{min}} Xi,j∗=Xjmax−XjminXi,j−Xjmin
注意:如果数据中有离群值, 即一个很大的 X k 1 X_{k1} Xk1那么整列 X 1 X_1 X1数据都会变得非常接近0,而只有一个1, 这样数据就失去了意义, 这种方法不好; -
标准归一化
X i , j ∗ = X i , j − X j m e a n X j s t d X_{i,j}^{*} = \frac{X_{i,j}-X_j^{mean}}{X_j^{std}} Xi,j∗=XjstdXi,j−Xjmean
注意:标准归一化并不能将数据缩放到0-1之间, 但是他能显著增加梯度下降法的速度;
回到梯度下降法
(
θ
0
t
+
1
θ
1
t
+
1
θ
2
t
+
1
)
=
(
θ
0
t
θ
1
t
θ
2
t
)
−
η
(
θ
T
X
−
Y
)
(
X
0
X
1
X
2
)
{\begin{pmatrix} \theta_0^{t+1} \\ \theta_1^{t+1} \\ \theta_2^{t+1} \\ \end{pmatrix}} = {\begin{pmatrix} \theta_0^{t} \\ \theta_1^{t} \\ \theta_2^{t} \\ \end{pmatrix}}- \eta (\theta^{T}X - Y) {\begin{pmatrix} X_0 \\ X_1 \\ X_2 \\ \end{pmatrix}}
⎝⎛θ0t+1θ1t+1θ2t+1⎠⎞=⎝⎛θ0tθ1tθ2t⎠⎞−η(θTX−Y)⎝⎛X0X1X2⎠⎞
考虑下面的情形:
对所有的 θ \theta θ而言, η ( θ T X − Y ) \eta (\theta^{T}X - Y) η(θTX−Y)是共用的, 要是所有的数据维度,都是正数的话, 那么 θ \theta θ在每一次梯度下降中更新的方向都是一样的(同增同减)
像下图所示,要想从 wt 更新到 w* 就必然要么 W1 和 W2 同时变大再同时变小，或者就 W1 和 W2 同时变小再同时变大。不能走蓝色的最优解路径，即 W1 变小的时候 W2 变大。(机器学习中的模型其实就是参数, 说训练模型,其实就是调整参数, 参数用 θ \theta θ或W来表示都可以)
- 问题:怎么能让 W1 变小的时候 W2 变大呢？
改变数据的符号就可以啦！让X中的数有正有负就能实现蓝色路径这样的;而标准归一化减去均值的操作就能到达目的!!!
来个小例子试一试？
python">#%%归一化
from sklearn.preprocessing import MinMaxScaler,StandardScaler
import numpy as np
scaler = MinMaxScaler()
temp = np.arange(5)
print('最大值最小值归一化...')
print(scaler.fit_transform(temp.reshape(-1,1))) #先摆成列再做归一化
scaler1 = StandardScaler()
print('均值归一化...')
print(scaler1.fit_transform(temp.reshape(-1,1)))
# 打印结果
print('均值为:', scaler1.mean_)
print('标准差为:',scaler1.var_)
正则化regularization
- 过拟合和欠拟合
(1) under fit：还没有拟合到位，训练集和测试集的准确率都还没有到达最高。学的还不到位
(2) over fit：拟合过度，训练集的准确率升高的同时，测试集的准确率反而降低。学的过 度了，做过的卷子都能再次答对，考试碰到新的没见过的题就考不好。
(3) just right：过拟合前训练集和测试集准确率都达到最高时刻。学习并不需要花费很多 时间，理解的很好，考试的时候可以很好的把知识举一反三。真正工作中我们是奔着过 拟合的状态去调的，但是最后要的模型肯定是没有过拟合的
如下图, (1)表示欠拟合, (2)表示过拟合, (3)表示刚刚好:
- 鲁棒性Robust
正则化就是防止过拟合,增加模型的鲁棒性 robust,鲁棒是 Robust 的音译,也就是强壮的意思。就像计算机软件在面临攻击、网络过载等情况下能够不死机不崩溃,这就是该软件的鲁棒性。鲁棒性调优就是让模型拥有更好的鲁棒性,也就是让模型的泛化能力和推广能力更加的强大。
而对于MLR模型来说, 当X有波动的时候, 对于预测结果并没有什么影响, 那这个模型的鲁棒性就比较好了;
所以正则化（鲁棒性调优）的本质就是牺牲模型在训练集上的正确率来提高推广能力, θ \theta θ 在数值上越小越好,这样能抵抗数值的扰动。同时为了保证模型的正确率 θ \theta θ 又不能极小。 故而人们将原来的损失函数加上一个惩罚项;
正则项
- L1正则项
L 1 = ∑ i = 1 m ∣ θ i ∣ L_1 = \sum_{i=1}^{m} \left\vert \theta_i \right\vert L1=i=1∑m∣θi∣ - L2正则项
L 2 = ∑ i = 1 m θ i 2 L_2 = \sum_{i=1}^{m} \theta_i^2 L2=i=1∑mθi2
正则项其实就是范数, 代表代表空间中向量到原点的距离;并非所有距离都像我们几何中的距离, 只有欧氏空间的距离度量是用平方和开根来计算; L1范数就是曼哈顿距离, 如下图,绿色的就是欧式距离,其他都是曼哈都距离:
Lasso回归 和 Ridge岭回归
L1稀疏L2平滑
通常我们会说 L1 正则会使得计算出来的模型有的 θ \theta θ 趋近于 0，有的 θ \theta θ 相对较大，而 L2 会使得 θ \theta θ 参数整体变小，这是为什么呢？
- 从梯度下降法考虑
-
Lasso回归
Loss函数:
L o s s L a s s o = ∑ i = 1 m ( y ^ − y ) 2 + λ ∑ i = 1 n ∣ θ i ∣ Loss_{Lasso} = \sum_{i=1}^{m} (\hat{y} - y)^{2} + \lambda \sum_{i=1}^{n} \left\vert \theta_i \right\vert LossLasso=i=1∑m(y^−y)2+λi=1∑n∣θi∣
梯度:
g j R i d g e = ( θ T X − Y ) x j ± λ g_j^{Ridge} = (\theta^{T}X - Y)x_j \pm \lambda gjRidge=(θTX−Y)xj±λ -
Ridge岭回归
Loss函数:
L o s s R i d g e = ∑ i = 1 m ( y ^ − y ) 2 + λ 2 ∑ i = 1 n θ i 2 Loss_{Ridge} = \sum_{i=1}^{m} (\hat{y} - y)^{2} + \frac{\lambda}{2} \sum_{i=1}^{n} \theta_i^2 LossRidge=i=1∑m(y^−y)2+2λi=1∑nθi2
梯度:
g j R i d g e = ( θ T X − Y ) x j + λ θ i g_j^{Ridge} = (\theta^{T}X - Y)x_j + \lambda \theta_i gjRidge=(θTX−Y)xj+λθi
-
我们可以看到是 L1 每次会多走 η \eta η的幅度,我们知道 η \eta η学习率一开始设置一个常数,学习率是 0.5 的话,比如 θ 1 \theta_1 θ1 多走 0.5, θ 2 \theta_2 θ2 也是多走 0.5,反观 L2 每次多走的幅度是之前的 2 倍的 θ i t \theta_i^t θit,学习率是 0.5 的话,那么就 θ 1 \theta_1 θ1就多走 θ 1 t \theta_1^t θ1t, θ 2 \theta_2 θ2 就多走 θ 2 t \theta_2^t θ2t;
观察上图, 红色区域其实是正则项本身的一个函数等高线图, 而紫色区域是原Loss的等高线图,要使他们的之和最小的 θ \theta θ就是他们的交点处(细品, 把这两个函数当作三维图的话,他俩一叠加,最小值就出现在交点处)
而对于L1,交点常会出现在坐标轴上, 而L2会使得 θ \theta θ都减小
- 深入理解L1稀疏L2平滑
接着上图, 对于原本Loss的最小点(紫色点), 加上正则项,他就得往原点附近靠;
而根据Lasso的导数, θ \theta θ的移动步长都一样(即 θ 1 \theta_1 θ1向左走一单位, 那 θ 2 \theta_2 θ2也会向下走一单位), 这样一走容易走到坐标轴上(如果提前与方形区域相交, 就不会在坐标轴上)
但对于Ridge岭回归来说, 当 θ 1 \theta_1 θ1越接近0的时候,它走的就越慢, 就相当于在等待 θ 2 \theta_2 θ2接近0, 所以L2与L2等高线相交的位置一般不会是坐标轴;
L1稀疏的应用–特征选择
因为L1稀疏, 有一些 θ j \theta_j θj会变为0, 就意味着这些属性的数据其实是没啥意义的, 就可以帮助我们筛掉一些特征, 减少计算量, 让我们专注在重要特征的处理上;
Lasso与Ridge例子
- Ridge(L2)
python">#%%ridge_regression岭回归(l2)
import numpy as np
from sklearn.linear_model import Ridge
np.random.seed(2)
x = 2*np.random.rand(100,1)
#观察值 误差（服从正态分布）
y = 5 + 4*x + np.random.randn(100,1)
reg = Ridge(alpha = 0.4,solver = 'sag') #sag表示随机梯度下降
reg.fit(x,y) #这里的x不用传截距项
print(reg.predict([[2]])) #这里预测值一定要是矩阵形式（二维数组）
print(reg.intercept_)
print(reg.coef_)
可以尝试修改一下alpha参数, alpha越大就表明越看重模型的泛化能力, 当alpha设置为0时, 就相当于普通的多元线性回归, 如果设置为0, 跑一把模型, 会显示Coordinate descent with no regularization may lead to unexpected results and is discouraged.其实就是说没设置正则项;
- Lasso(L1)
python">#%%lasso regression(L1正则项)
import numpy as np
from sklearn.linear_model import Lasso
np.random.seed(2)
x = 2*np.random.rand(100,1)
#观察值 误差（服从正态分布）
y = 5 + 4*x + np.random.randn(100,1)
reg = Lasso(alpha = 0.4,max_iter=1000000) #这里无需传入梯度下降的方法 max_iter表示迭代次数
reg.fit(x,y) #这里的x不用传截距项
print(reg.predict([[2]])) #这里预测值一定要是矩阵形式（二维数组）
print(reg.intercept_)
print(reg.coef_)
L1和L2正则项同时作用 – ElasticNet
ElasticNet就是把Loss同时加上了L1正则和L2正则,没啥特别的
L
o
s
s
E
l
a
s
t
i
c
N
e
t
=
∑
i
=
1
m
(
y
^
−
y
)
2
+
λ
ρ
∑
i
=
1
n
∣
θ
i
∣
+
λ
(
1
−
ρ
)
2
∑
i
=
1
n
θ
i
2
Loss_{ElasticNet} = \sum_{i=1}^{m} (\hat{y} - y)^{2} + \lambda \rho \sum_{i=1}^{n} \left\vert \theta_i \right\vert+\frac{\lambda(1-\rho)}{2} \sum_{i=1}^{n} \theta_i^2
LossElasticNet=i=1∑m(y^−y)2+λρi=1∑n∣θi∣+2λ(1−ρ)i=1∑nθi2
ElasticNet例子
python">#%%ElasticNet （既使用L1，也使用L2）
import numpy as np
from sklearn.linear_model import ElasticNet
np.random.seed(2)
x = 2*np.random.rand(100,1)
#观察值 误差（服从正态分布）
y = 5 + 4*x + np.random.randn(100,1)
reg = ElasticNet(alpha = 0.4,l1_ratio = 0.5,max_iter=1000000) #这里无需传入梯度下降的方法 max_iter表示迭代次数
reg.fit(x,y) #这里的x不用传截距项
print(reg.predict([[2]])) #这里预测值一定要是矩阵形式（二维数组）
print(reg.intercept_)
print(reg.coef_)
多元线性回归的改进Ridge和Lasso就是这样了, 继续下一章吧！pd的Machine Learning
