machine learning / 机器学习

线性回归

线性回归(linear regression

1.线性模型(linear model

给定由d个属性描述(在其他文档里也叫特征)的示例 ,其中xix在第i个属性上的取值。

线性模型就是通过属性的线性组合来进行预测的函数:

其中 称之为特征参数

2.一元线性回归

2.1一元线性回归公式:

给定数据集

其中特征集 ,目标集

试图让 即让函数预测值与实际值的误差尽可能的小。

2.2均方误差(square loss/最小二乘法(least square method):

采用均方误差来衡量 的差别。

均方误差越小性能越好,因此我们可以通过寻找wb的最优解找到均方误差最小值。

(w*,b*) =

=

=

=

当 最小值为0时表示预测和实际完全一致。

2.3参数估计(parameter estimation)解最小E对应的wb的值:

w,b分别求导

=

=

=

=

=

=

=

=

当达到最优解时有 = 0 = 0

先通过

求得

然后把b代入

求得