文档章节

决策树

Galy_绿
 Galy_绿
发布于 2016/07/11 00:24
字数 993
阅读 60
收藏 0

//个人读书笔记,后期会进行修正
决策树思想来源:每个人大脑中都有类似if-then这样的逻辑判断。在程序设计中最基础的语句就是它。而最早的决策树就是利用这类结构分隔数据的一种分类学习方法

决策实例:书

决策树的算法框架:

决策树的主函数:本质是一个递归函数。

               主函数的功能:①输入需要分类的数据②根据分类规则得到最优的划分特征,并创建特征的划分节点--计算最优特征子函数③划分数据集子函数④进入各自子函数递归⑤检验是否符合递归终止条件⑥重复递归

        计算最优特征子函数---是除了主函数外的最重要函数。决策树的差异都是因为这个函数的差异

                ID3:信息增益    C4.5信息增益率    CART 是节点方差的大小

          划分数据集函数:分隔数据集

            分类器:决策树的分类器是通过遍历整个决策树,使测试集数据找到决策树中叶子节点对应的类别标签。该标签就是分类结果。

 

信息熵

    熵:能量分布的均匀读,越均匀该集就越大

    信息熵:某个特征列向量信息熵越大,就说明该向量的不确定性程度越大

   

信息熵:事物不确定性的度量标准

决策树中,它不仅能用来度量类别的不确定性,也可用来度量包含不同特征的数据样本与类别的不确定性

某特征列向量的信息熵越大--》向量的不确定性程度越大(混乱程度越大)-》优先从该特征向量着手   信息熵为决策树的划分提供了重要的依据和标准

 

信息增益:决策树某个分支上整个数据集信息熵与当前节点信息熵的差值,用Gain(A)

 

ID3算法的决策树生成过程(信息增益)

1.计算对给定样本分类所需的信息熵

2.计算每个特征的信息熵

3.从所有的特征队列中选出信息增益最大的那个作为根节点或内部节点-划分节点,划分整列,首次递归列

4.根据划分节点的不同取值取值类拆分数据集为若干子集,然后删除当前的特征列,再计算剩余特征列的信息熵

5.划分结束的标志:子集中只有一个类别标签,停止划分。

算法待续。(Python)

 

C4.5 信息增益率:客服信息增益选择特征时偏向于特征个数不足的缺点

信息增益率公式

 

Scikit-Learn与回归树

回归算法原理(CART):

CART使用最小剩余方差来判断回归树的最优划分,这个准则期望划分之后的子树与样本点的误差方差最小。决策树会将数据集合切分成很多子模型数据,然后利用线性回归来建模。若每次切分的数据集难以拟合,就继续切分。在这种切分方式下,每个叶子节点都是一个线性回归模型。(这些回归模型也被称作模型书) CART不仅支持整体预测,也支持局部预测。

CART算法流程:

 1.决策树主函数:决策树的主函数是个递归函数,该函数主要按照CART规则生成出决策树的各个分支节点。并根据终止条件结束算法

2.使用最小剩余方差子函数,计算数据集各列最优划分方差,划分列,划分值。

3.二分数据集:根据给定的分隔列和分隔值将数据一分为二,分别返回

 

 

© 著作权归作者所有

共有 人打赏支持
Galy_绿
粉丝 11
博文 133
码字总数 14908
作品 0
海淀

暂无文章

《看图轻松理解数据结构与算法系列》导引贴

最近学习数据结构,遇到一个很喜欢的博主,他的文章图文并茂,理解起来很容易。特此开贴记录,方便反复阅读。 博主主页 https://juejin.im/user/57c3970f79bc440063e58518/posts?sort=popul...

科陆李明
45分钟前
1
0
20.27 分发系统介绍~ 20.30 expect脚本传递参数

分发系统介绍分发系统-expect讲解(也就是一个分发的脚本)场景:业务越来越大,网站app,后端,编程语言是php,所以就需要配置lamp或者lnmp,最好还需要吧代码上传到服务器上;但是因...

洗香香
59分钟前
2
0
设计一个百万级的消息推送系统

前言 首先迟到的祝大家中秋快乐。 最近一周多没有更新了。其实我一直想憋一个大招,分享一些大家感兴趣的干货。 鉴于最近我个人的工作内容,于是利用这三天小长假憋了一个出来(其实是玩了两...

crossoverJie
今天
2
0
软件架构:5种你应该知道的模式

Singleton(单例模式)、仓储模式(repository)、工厂模式(factory)、建造者模式(builder)、装饰模式(decorator)……大概每个上课听讲的程序员都不会陌生——软件的设计模式为我们提供...

好雨云帮
今天
3
0
OSChina 周二乱弹 —— 这只是一笔金钱交易

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @小小编辑:推荐歌曲《暮春秋色》- 窦唯 / 译乐队 《暮春秋色》- 窦唯 / 译乐队 手机党少年们想听歌,请使劲儿戳(这里) @我没有抓狂:跨服聊...

小小编辑
今天
1K
18

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部