对偶优化问题

对偶问题在约束最优化问题中,常常利用拉格朗日对偶性将原始问题转换为对偶问题,通过求解对偶问题而得到原始问题的解。至于这其中的原理和推导参考文献[3]讲得非常好。大家可以参考下。这里只将对偶问题是怎么操作的。假设我们的优化问题是

min f(x

s.t. (x) = 0, i=1, 2, …,

       这是个带等式约束的优化问题。我们引入拉格朗日乘子,得到拉格朗日函数为

L,)=f(x)+...

支持向量机

支持向量机

1.间隔margi)与支持向量support vecto

给定训练样本集

在样本空间中找到一个超平面,将不同类别的样本分开。

划分超平面通过如下线性方程描述

其中为法向量,决定超平面的方向为位移项,决定了超平面与原点间的距离。

样本空间中任意点到超平面(w,b的距离可写为

该公式和中学学过的点到直线距离公式如出一辙。亦可用法向量内积推导。

假设该超平面能正确对训练集分类,那么有...

决策树代码实现 Decision Tree Python Code

今天用python实现了一下周老师《机器学习》第四章的决策树算法,放上来大家可以一起讨论,因为python不是很熟,所以我想有很多地方有优化的空间,特别是检索数组那块。[crayon-5b5279262a764146532857/

.

2016.10.21 实现信息熵

2016.10.24 实现几种常用划分算法

本文内容参考李航老师、ng和周志华老师的书籍,结合自己的理解,所有公式全部为本人推导,并进行...

决策树

决策树Decision Tre

决策树在周老师《机器学习》这本书中有很好的例子和解释,所以我不会在这里说的太细,建议大家阅读。1.决策树定义决策树具有树形结构,每一层深度代表一个特征,每一个特征有几个取值选项就代表这一层有几个子分支。用数据结构中常见的的满二叉树来说,它是非常典型的二分类的决策树,每一层有两个取值(子分支)。假设有如下情况两种球:橄榄球和足球。特征:颜色为黄色为白色);形状...

逻辑斯蒂回归

逻辑斯蒂回归logistic regressio

1.对数几率函数Sigmo

sigmod

[crayon-5b5279262f819224625481/

2.逻辑斯蒂回归公式

则有

继续推导

得出

其中表示正例的概率1-表示反例的概率。称为几率odd称为对数几率log oddlogi)。

因此逻辑斯蒂回归即是用线性回归模型的预测结果去逼近实际目标的对数几率。

3.极大似然法求w,...

线性回归

线性回归linear regressio

1.线性模型linear mode给定由个属性描述(在其他文档里也叫特征)的示例,其中在第个属性上的取值。线性模型就是通过属性的线性组合来进行预测的函数其中称之为特征参数.一元线性回归2.一元线性回归公式给定数据集其中特征集,目标集试图让即让函数预测值与实际值的误差尽可能的小。2.均方误差square los最小二乘法...