文档章节

机器学习第四章:决策树

DDDDavid
 DDDDavid
发布于 2017/08/29 18:46
字数 689
阅读 3
收藏 0
点赞 0
评论 0

4.1基本流程

基本思路:分而治之

导致递归返回的三种情形:

(1)  当前节点样本属于同一类别,无需划分;

(2)  当前属性集为空,或所有样本属性值相同,无法划分;

(3)  当前节点包含的样本集合为空,不能划分。

 

4.2划分选择

ID3决策树算法:以信息增益为准则

CART决策树:以“基尼指数”为准则

C4.5决策树算法:以信息增益的权重为准则,采用二分法对连续属性进行处理

多变量决策树:属性的线性组合,OC1,寻找每个属性的最有权值,局部优化再对分类边界随机扰动。

 

4.3剪枝处理

预剪枝:对划分前后的泛化性能进行估计,具有欠拟合风险;

后剪枝:欠拟合风险小,泛化性能较优,训练时间较长;

连续值处理:二分法

缺失值处理:赋予权重

多变量决策树:对属性进行线性组合

OC1:局部优化的基础上再对分类边界进行随机扰动

 

感知机树:结合决策树和神经网络

增量学习:ID4、ID5R、ITI等

 

随机森林算法:多棵树木组成森林,随机挑选树木,根据结果判断是为随机森林。

包含多个决策树的分类器, 并且其输出的类别是由个别树输出的类别的众数而定。

构建随机森林:数据的随机性选取,以及待选特征的随机选取。

首先,从原始的数据集中采取有放回的抽样,构造子数据集,子数据集的数据量是和原始数据集相同的。不同子数据集的元素可以重复,同一个子数据集中的元素也可以重复。第二,利用子数据集来构建子决策树,将这个数据放到每个子决策树中,每个子决策树输出一个结果。最后,如果有了新的数据需要通过随机森林得到分类结果,就可以通过对子决策树的判断结果的投票,得到随机森林的输出结果了。

与数据集的随机选取类似,随机森林中的子树的每一个分裂过程并未用到所有的待选特征,而是从所有的待选特征中随机选取一定的特征,之后再在随机选取的特征中选取最优的特征。这样能够使得随机森林中的决策树都能够彼此不同,提升系统的多样性,从而提升分类性能。

© 著作权归作者所有

共有 人打赏支持
DDDDavid
粉丝 0
博文 4
码字总数 3947
作品 0
东城
程序员
《机器学习》(周志华)课后习题参考答案

目录: 周志华《机器学习》课后习题解答系列(二):Ch1 - 绪论 周志华《机器学习》课后习题解答系列(三):Ch2 - 模型评估与选择 周志华《机器学习》课后习题解答系列(四):Ch3 - 线性模...

kchai31 ⋅ 01/04 ⋅ 0

团队拙作《Python机器学习实战》

之前看国内外的 Python 机器学习的书,鲜有将机器学习到底怎么做人脸识别、怎么做风险控制、怎么做 OCR 算法模型列出的,并且真正的一个 Python 应用,不止是从机器学习库中导入一下配置一下...

yijun2018 ⋅ 04/20 ⋅ 0

机器学习的最佳学习路线原来只有四步

AI这个词相信大家都非常熟悉,近几年来人工智能圈子格外热闹,光是AlphoGo就让大家对它刮目相看。今天小天就来跟大家唠一唠如何进军人工智能的第一步——机器学习。 在机器学习领域,Python已...

ufv59to8 ⋅ 05/12 ⋅ 0

《Sklearn 与 TensorFlow 机器学习实用指南》 第6章 决策树

来源:ApacheCN《Sklearn 与 TensorFlow 机器学习实用指南》翻译项目 译者:@Lisanaaa @y3534365 校对:@飞龙 和支持向量机一样, 决策树是一种多功能机器学习算法, 即可以执行分类任务也可...

ApacheCN_飞龙 ⋅ 06/12 ⋅ 0

零基础学习机器学习(Python语言、算法、Numpy库、MatplotLib)视频

机器学习作为人工智能的一部分,已经应用于很多领域,远超过人们的想象,垃圾邮件的过滤,在线广告的推荐系统,还有目前发展飞快的物体识别、人脸识别和语音识别的发展,都是机器学习的应用的...

qq_38472149 ⋅ 05/28 ⋅ 0

《Python与机器学习实战:决策树、集成学习、支持向量机与神经网络算法详解及编程实现》PDF

下载链接: https://pan.baidu.com/s/1lTl6z8Vv1LfIvdBjv16YpQ 密码: avij 出版社: 电子工业出版社; 第1版 (2017年7月1日) 平装: 315页 语种: 简体中文 开本: 16 ISBN: 9787121317200 条形码...

sinat_33899729 ⋅ 05/07 ⋅ 0

《R语言实战》第四部分第十七章-分类学习笔记

前面一章的内容主要是对数据进行聚类,可能是两类,也可能是三类,甚至更多,而分类一般是指一分为二。举几个例子: 根据个人信息和财务历史记录预测其是否会还贷; 根据重症病人的症状和生命...

Datacruiser ⋅ 2017/07/16 ⋅ 0

机器学习 西瓜书 Day04 决策树

p73 - p97 第四章 决策树 4.1 基本流程 一棵决策树包含一个根节点,若干个内部节点和若干个叶节点; 叶节点对应决策结果,其他每个节点对应于一个属性测试 决策树学习基本算法伪码 p74 图4.2...

皇家马德里主教练齐达内 ⋅ 05/12 ⋅ 0

从前,夕小瑶种了一棵树

从前 从前,小夕种了一棵树,种在了小夕的小屋后面~ 为什么要种这棵树呢?因为呀,它可以帮小夕总结历史经验,然后帮小夕对当前的局势做出决策~这样小夕就可以安心给大家写文章啦~ 这棵树是这...

夕小瑶Elsa ⋅ 2017/05/08 ⋅ 0

机器学习入门书籍导读-高等数学上

我们每周会更新一篇关于机器学习入门书籍的导读文章,会覆盖数学、编程、机器学习算法理论以及机器学习应用这四个板块。希望通过这些导读文章,可以帮助同学们更有针对性的掌握机器学习相关的...

gshengod ⋅ 2017/11/20 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Spring Cloud构建微服务架构—创建“服务注册中心”

创建一个基础的Spring Boot工程,命名为eureka-server,并在pom.xml中引入需要的依赖内容: <parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-par......

itcloud ⋅ 23分钟前 ⋅ 0

拖动

<!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>event</title> <style> #box { width: 100px; height: 100px; background-color: aquamarine; position: absolute; } </style......

fyliujj ⋅ 25分钟前 ⋅ 0

es6 polyfill array

polyfill之javascript函数的兼容写法——Array篇 1. Array.isArray(obj) if (!Array.isArray) { Array.isArray = function(arg) { return Object.prototype.toString.call(arg) === '[objec......

球球 ⋅ 27分钟前 ⋅ 0

kibana启动异常

检查一下:kibana.yml 每一对key:value中,冒号之后应有空格。

增删改查1 ⋅ 29分钟前 ⋅ 0

js修改img的src属性刷新图片时的图片缓存问题

问题:上传一张图片,通过js更新src属性刷新图片使其即时显示时, 当img的src当前的url与上次地址无变化时(只更改图片,名称不变,不同图片名称相同)图片不变化(仍显示原来的图片) 但通过...

HaierBrother ⋅ 29分钟前 ⋅ 0

Mysql

1.Jdbc Url 设置allowMultiQueries为true和false mysql的批量更新是要我们主动去设置的, 就是在数据库的连接url上设置一下,加上* &allowMultiQueries=true *即可。 参数名称 参数说明 缺省...

瑟青豆 ⋅ 33分钟前 ⋅ 0

mysql导出导入表结构与数据

当我们需要进行数据迁移时,mysql自带的mysqldump会是最好的方式。 1.导出某张表的结构和数据 首先,我们应当使用服务器,打开终端,连接到所需要导出的表所在的服务器上。执行命令: mysqld...

hengbao5 ⋅ 33分钟前 ⋅ 0

世界杯也走向“比拼”大数据的时代

《日本经济新闻》6月19日报道称,俄罗斯足球世界杯已于6月14日揭开战幕。作为第21次举办的足球世界杯,如何活用大数据有可能成为决定各支球队胜负的重要因素。从对阵球队的分析到战术建议,还...

加米谷大数据 ⋅ 33分钟前 ⋅ 0

金额转为千分制,金额转中文大写

金额转关为大写 /** 数字金额大写转换(可以处理整数,小数,负数) */ function digitUppercase(n){ if(!n) reutrn "" let fraction = ['角', '分']; let digit = [...

YXMBetter ⋅ 36分钟前 ⋅ 0

开发利器JRebel部署SpringBoot项目

不要以为年纪轻轻就跌倒了人生谷底,未来还有更大的下降空间等着你。 idea下载和安装JRebel 激活JRebel 访问https://my.jrebel.com/ 使用facebook或twitter登录 勾选 Build project automati...

郑龙飞 ⋅ 42分钟前 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部