machine learning / 机器学习

线性回归

线性回归(linear regression

1.线性模型(linear model

给定由d个属性描述(在其他文档里也叫特征)的示例 ,其中xix在第i个属性上的取值。

线性模型就是通过属性的线性组合来进行预测的函数:

其中 称之为特征参数

2.一元线性回归

2.1一元线性回归公式:

给定数据集

其中特征集 ,目标集

试图让 即让函数预测值与实际值的误差尽可能的小。

2.2均方误差(square loss/最小二乘法(least square method):

采用均方误差来衡量 的差别。

均方误差越小性能越好,因此我们可以通过寻找wb的最优解找到均方误差最小值。

(w*,b*) =

=

=

=

当 最小值为0时表示预测和实际完全一致。

2.3参数估计(parameter estimation)解最小E对应的wb的值:

w,b分别求导

=

=

=

=

=

=

=

=

当达到最优解时有 = 0 = 0

先通过

求得

然后把b代入

求得

由于

表示x的平均值,因此设

则有

3.多元线性回归

3.1多元线性回归公式:

x0=1w0=b则有b=w0x0

x(i)表示第i个特征集,y(i)表示第i个目标

则有:

3.2均方误差:

3.3参数估计:

w* =

w求导

当达到最优解时有 = 0

通过 求得:

此时要求 是可逆矩阵(满秩、正定、非奇异矩阵)。注意一般在编程时,有些高级语言依然可以用不可逆矩阵计算这个公式,比如matlab,以提高该公式的适用范围。

这个计算w的方法也称作正规方程法(Normal Equation

此时

 

2016.10.11 初版

2016.10.12 完善线性回归内容

本文内容参考李航老师、ng和周志华老师的书籍,结合自己的理解,所有公式全部为本人推导,并进行整合勘误。转载请注明出处。

5 Comments

Leave a Reply

Your email address will not be published. Required fields are marked *