决策树

决策树Decision Tre

决策树在周老师《机器学习》这本书中有很好的例子和解释,所以我不会在这里说的太细,建议大家阅读。1.决策树定义决策树具有树形结构,每一层深度代表一个特征,每一个特征有几个取值选项就代表这一层有几个子分支。用数据结构中常见的的满二叉树来说,它是非常典型的二分类的决策树,每一层有两个取值(子分支)。假设有如下情况两种球:橄榄球和足球。特征:颜色为黄色为白色);形状...

逻辑斯蒂回归

逻辑斯蒂回归logistic regressio

1.对数几率函数Sigmo

sigmod

[crayon-5a625b3ba12ef340207091/

2.逻辑斯蒂回归公式

则有

继续推导

得出

其中表示正例的概率1-表示反例的概率。称为几率odd称为对数几率log oddlogi)。

因此逻辑斯蒂回归即是用线性回归模型的预测结果去逼近实际目标的对数几率。

3.极大似然法求w,...

线性回归

线性回归linear regressio

1.线性模型linear mode给定由个属性描述(在其他文档里也叫特征)的示例,其中在第个属性上的取值。线性模型就是通过属性的线性组合来进行预测的函数其中称之为特征参数.一元线性回归2.一元线性回归公式给定数据集其中特征集,目标集试图让即让函数预测值与实际值的误差尽可能的小。2.均方误差square los最小二乘法...