文档章节

七月算法机器学习 11 决策树、随机森林、 adaboost

o
 osc_2718ydlo
发布于 07/04 09:55
字数 503
阅读 78
收藏 0

行业解决方案、产品招募中!想赚钱就来传!>>>

目录

主要内容

决策树

信息增益

三种决策树学习算法

决策树的例子

决策树的过拟合

Bootstraping

Bagging的策略

随机森林

提升的概念

Adaboost

举例


 

主要内容
 

决策树
 

 决策树学习采用的是自顶向下的递归方法,
 其基本思想是以信息熵为度量构造一棵熵值下降最快的树,到叶子节点处的熵值为零,
 此时每个叶节点中的实例都属于同一类。
 有监督学习
 



 建立决策树的关键,即在当前状态下选择哪个属性作为分类依据。根据不同的目标函数,建立决策树主要有一下三种算法。
 ID3
 C4.5
 CART


信息增益
 

 

三种决策树学习算法
 

 

决策树的例子
 

决策树的过拟合
 

 决策树对训练属于有很好的分类能力,但对未知的测试数据未必有好的分类能力,泛化能力弱,即可能发生过拟合现象。
 剪枝
 随机森林
 


Bootstraping
 

 Bootstraping的名称来自成语“pull up by yourown bootstraps”,意思是依靠你自己的资源,称为自助法,它是一种有放回的抽样方法。
 注: Bootstrap本义是指高靴子口后面的悬挂物、小环、带子,是穿靴子时用手向上拉的工具。“pullup by your own bootstraps”即“通过拉靴子让自己上升”,意思是“不可能发生的事情”。后来意思发生了转变,隐喻“不需要外界帮助,仅依靠自身力
量让自己变得更好” 。
 


Bagging的策略
 

每一个样本能生成一个决策树,最后投票

bagging不仅适合于决策树,也适合于其它算法

类似于民主政治

adaboost精英政治,加权平均

随机森林
 

随机,1 样本有放回抽样

2是属性的选择

提升的概念
 

 

Adaboost
 

举例
 

 

 

 

 

 

 

 

 

 

 

 

o
粉丝 1
博文 70
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
Sar数据转HTML--Sar2html

Sar2html 可以将 sar 程序执行的二进制结果数据转成图形的 HTML 格式,它提供了命令行工具、Web 接口和数据收集脚本。使用 sar2ascii 可从服务器 (HP-UX 11.11, 11.23, and 11,31, Redhat 3...

匿名
2013/01/10
1.2K
0
复杂网络处理包--igraph

igraph是免费的复杂网络(graphs)处理包,可以处理百万级节点的网络(取决于机器内存)。igraph提供了R和C语言程序包,以及Python和Ruby语言扩展,它包括的功能包括: 网络可视化 传统图论算...

匿名
2013/04/20
6.6K
0
代码生成的底层应用框架--fastCSharp

fastCSharp是一个基于.NET元数据的代码生成的底层应用框架,目标是打造一个“开发+运行”效率双优的开源框架。 经过半年多的时间,除了与web开发直接相关的部分,都已经在fastCSharp part 1...

fastCSharp
2013/05/29
3.7K
0
全站 HTTPS 来了

各位使用百度、谷歌或淘宝的时候,有没有注意浏览器左上角已经全部出现了一把绿色锁,这把锁表明该网站已经使用了 HTTPS 进行保护。仔细观察,会发现这些网站已经全站使用 HTTPS。同时,iOS...

腾讯Bugly
2015/12/25
2K
5
JCF框架源码分析系列-ArrayList(二)

1、揭开ArrayList真面目 作者将在本文详细赘述日常开发中最常用集合类-ArrayList,本次JCF源码分析基于JDK1.7,主要从以下几个方向分析: UML类图关系 数据结构 接口介绍 常用、重要方法的实...

Ambitor
2015/11/30
384
0

没有更多内容

加载失败,请刷新页面

加载更多

在新标签页(而不是新窗口)中打开URL - Open a URL in a new tab (and not a new window)

问题: I'm trying to open a URL in a new tab, as opposed to a popup window. 我正在尝试在新选项卡(而不是弹出窗口)中打开URL 。 I've seen related questions where the responses wo......

富含淀粉
37分钟前
17
0
HTML中id属性的有效值是什么? - What are valid values for the id attribute in HTML?

问题: 为HTML元素创建id属性时,该值有哪些规则? 解决方案: 参考一: https://stackoom.com/question/IMN/HTML中id属性的有效值是什么 参考二: https://oldbug.net/q/IMN/What-are-vali...

法国红酒甜
今天
25
0
mysql innodb 可重复 幻读问题

1 mvcc 解决快照读幻读 2 GAP 锁解决 当前读幻读 (insert时 插入意向锁会等待GAP锁)

yzzzzzzzz
今天
25
0
画风清奇,用开源机器人项目实现“云毕业典礼”

本文作者:o****0 前几天,南京邮电大学的一场毕业典礼引起了吃瓜群众的热议,先来看看这个画风: 由于疫情原因,很多高校的学生只能在家里通过线上视频的方式完成毕业论文答辩。答辩通过后,...

百度开发者中心
07/31
16
0
2020年TOP7的编程语言和框架,它们至少还能风靡全球5年以上

在本文中,我们将看一看由我推荐的编程语言和框架列表,我相信在接下来的5年至10年中,对于开发者来说,这份列表中的语言和框架仍然会有用。同时考虑到我不希望该列表仅是另一个备受好评的编...

京东智联云开发者
今天
25
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部