文档章节

决策树

Galy_绿
 Galy_绿
发布于 2016/07/11 00:24
字数 993
阅读 65
收藏 0

//个人读书笔记,后期会进行修正
决策树思想来源:每个人大脑中都有类似if-then这样的逻辑判断。在程序设计中最基础的语句就是它。而最早的决策树就是利用这类结构分隔数据的一种分类学习方法

决策实例:书

决策树的算法框架:

决策树的主函数:本质是一个递归函数。

               主函数的功能:①输入需要分类的数据②根据分类规则得到最优的划分特征,并创建特征的划分节点--计算最优特征子函数③划分数据集子函数④进入各自子函数递归⑤检验是否符合递归终止条件⑥重复递归

        计算最优特征子函数---是除了主函数外的最重要函数。决策树的差异都是因为这个函数的差异

                ID3:信息增益    C4.5信息增益率    CART 是节点方差的大小

          划分数据集函数:分隔数据集

            分类器:决策树的分类器是通过遍历整个决策树,使测试集数据找到决策树中叶子节点对应的类别标签。该标签就是分类结果。

 

信息熵

    熵:能量分布的均匀读,越均匀该集就越大

    信息熵:某个特征列向量信息熵越大,就说明该向量的不确定性程度越大

   

信息熵:事物不确定性的度量标准

决策树中,它不仅能用来度量类别的不确定性,也可用来度量包含不同特征的数据样本与类别的不确定性

某特征列向量的信息熵越大--》向量的不确定性程度越大(混乱程度越大)-》优先从该特征向量着手   信息熵为决策树的划分提供了重要的依据和标准

 

信息增益:决策树某个分支上整个数据集信息熵与当前节点信息熵的差值,用Gain(A)

 

ID3算法的决策树生成过程(信息增益)

1.计算对给定样本分类所需的信息熵

2.计算每个特征的信息熵

3.从所有的特征队列中选出信息增益最大的那个作为根节点或内部节点-划分节点,划分整列,首次递归列

4.根据划分节点的不同取值取值类拆分数据集为若干子集,然后删除当前的特征列,再计算剩余特征列的信息熵

5.划分结束的标志:子集中只有一个类别标签,停止划分。

算法待续。(Python)

 

C4.5 信息增益率:客服信息增益选择特征时偏向于特征个数不足的缺点

信息增益率公式

 

Scikit-Learn与回归树

回归算法原理(CART):

CART使用最小剩余方差来判断回归树的最优划分,这个准则期望划分之后的子树与样本点的误差方差最小。决策树会将数据集合切分成很多子模型数据,然后利用线性回归来建模。若每次切分的数据集难以拟合,就继续切分。在这种切分方式下,每个叶子节点都是一个线性回归模型。(这些回归模型也被称作模型书) CART不仅支持整体预测,也支持局部预测。

CART算法流程:

 1.决策树主函数:决策树的主函数是个递归函数,该函数主要按照CART规则生成出决策树的各个分支节点。并根据终止条件结束算法

2.使用最小剩余方差子函数,计算数据集各列最优划分方差,划分列,划分值。

3.二分数据集:根据给定的分隔列和分隔值将数据一分为二,分别返回

 

 

© 著作权归作者所有

共有 人打赏支持
上一篇: Java泛型全解析
下一篇: 中文文本分类
Galy_绿
粉丝 12
博文 133
码字总数 14908
作品 0
海淀
私信 提问

暂无文章

PHP生成CSV之内部换行

当我们使用PHP将采集到的文件内容保存到csv文件时,往往需要将采集内容进行二次过滤处理才能得到需要的内容。比如网页中的换行符,空格符等等。 对于空格等处理起来都比较简单,这里我们单独...

豆花饭烧土豆
今天
1
0
使用 mjml 生成 thymeleaf 邮件框架模板

发邮件算是系统开发的一个基本需求了,不过搞邮件模板实在是件恶心事,估计搞过的同仁都有体会。 得支持多种客户端 支持响应式 疼彻心扉的 outlook 多数客户端只支持 inline 形式的 css 布局...

郁也风
今天
4
0
让哲学照亮我们的人生——读《医务工作者需要学点哲学》有感2600字

让哲学照亮我们的人生——读《医务工作者需要学点哲学》有感2600字: 作者:孙冬梅;以前读韩国前总统朴槿惠的著作《绝望锻炼了我》时,里面有一句话令我印象深刻,她说“在我最困难的时期,...

原创小博客
今天
4
0
JAVA-四元数类

public class Quaternion { private final double x0, x1, x2, x3; // 四元数构造函数 public Quaternion(double x0, double x1, double x2, double x3) { this.x0 = ......

Pulsar-V
今天
17
0
Xshell利用Xftp传输文件,使用pure-ftpd搭建ftp服务

Xftp传输文件 如果已经通过Xshell登录到服务器,此时可以使用快捷键ctrl+alt+f 打开Xftp并展示Xshell当前的目录,之后直接拖拽传输文件即可。 pure-ftpd搭建ftp服务 pure-ftpd要比vsftp简单,...

野雪球
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部