GBDT

GBD

1.前言

网上的GBD教程很多,但基本都是举一些具体的例子演示一下算法的流程。对于原理往往给个Pape的地址叫自己看,我又搜了下Gradient Boostin和梯度增强才知道为什么,恩根本没有Gradient Boostin的中文教程。自己动手丰衣足食吧。

.

2.梯度增强

GBDGradient Boosting Decision Tre)叫做梯度增强决策树。看到眼熟的Boostin...

Adaboost

AdaBoos

1.前言最近在学习Adaboos,看了不少大神的博文,也有算法执行的演练,但比较偏应用,有些地方没有解释就直接蹦出个公式套用,所以自己硬着头皮重新推导一遍。希望大神帮忙指出错误。AdaBoost(Adaptive Boosting,中文叫做“自适应增强”,是boos集成学习的一种实现方式。AdaBoos是一种迭代算法,在每一轮中加入一个新的弱分类器,直到达到某个预定的足够小的错误率。每一个训练样本都被赋予一个权重,表明它被某个分 类器选入训练集的概率。如果某个样本点已经被准确地分类,那么在...

ROC和AUC

在机器学习中,通常利用ROC和AUC分析二分类性能。其基本原理是通过ROC绘制一条曲线(左下角原点向上方或右上方绘制,越向右绘制表示分类性能越差,越向上绘制表示分类性能越好),然后通过AUC计算曲线右下方空间的面积,面积越大代表分类器性能越好。即曲线与Y轴重叠,面积可达到最大,性能达到100%正确率;反之如果与X轴重叠,则面积为0,分类正确率也为0。详细内容可以看:http://blog.csdn...

全局最优解算法

在计算最优解时,如果是非凸函数,往往会遇到局部最优解和全局最优解的问题,常用的梯度下降算法(Gradient Descent)和爬山算法(Hill Climbing)由于是贪心算法,往往算出来的是局部最优解,那么怎么达到全局最优解?1.模拟退火算法(Simulated Annealing或SA):简单说就是以一定概率跳出当前最优解继续搜索全局最优解,这个概率会随着时间的增加而降低,以达到趋于稳定,...

对偶优化问题

对偶问题在约束最优化问题中,常常利用拉格朗日对偶性将原始问题转换为对偶问题,通过求解对偶问题而得到原始问题的解。至于这其中的原理和推导参考文献[3]讲得非常好。大家可以参考下。这里只将对偶问题是怎么操作的。假设我们的优化问题是

min f(x

s.t. (x) = 0, i=1, 2, …,

       这是个带等式约束的优化问题。我们引入拉格朗日乘子,得到拉格朗日函数为

L,)=f(x)+...

支持向量机

支持向量机

1.间隔margi)与支持向量support vecto

给定训练样本集

在样本空间中找到一个超平面,将不同类别的样本分开。

划分超平面通过如下线性方程描述

其中为法向量,决定超平面的方向为位移项,决定了超平面与原点间的距离。

样本空间中任意点到超平面(w,b的距离可写为

该公式和中学学过的点到直线距离公式如出一辙。亦可用法向量内积推导。

假设该超平面能正确对训练集分类,那么有...

决策树代码实现 Decision Tree Python Code

今天用python实现了一下周老师《机器学习》第四章的决策树算法,放上来大家可以一起讨论,因为python不是很熟,所以我想有很多地方有优化的空间,特别是检索数组那块。[crayon-5a625ab412e31766449180/

.

2016.10.21 实现信息熵

2016.10.24 实现几种常用划分算法

本文内容参考李航老师、ng和周志华老师的书籍,结合自己的理解,所有公式全部为本人推导,并进行...

决策树

决策树Decision Tre

决策树在周老师《机器学习》这本书中有很好的例子和解释,所以我不会在这里说的太细,建议大家阅读。1.决策树定义决策树具有树形结构,每一层深度代表一个特征,每一个特征有几个取值选项就代表这一层有几个子分支。用数据结构中常见的的满二叉树来说,它是非常典型的二分类的决策树,每一层有两个取值(子分支)。假设有如下情况两种球:橄榄球和足球。特征:颜色为黄色为白色);形状...