文档章节

用随机森林分类算法进行Iris 数据分类训练,是怎样的体验?

openfea
 openfea
发布于 2017/08/10 11:18
字数 1146
阅读 445
收藏 8

MLlib是Spark的机器学习(ML)库,旨在简化机器学习的工程实践工作,并方便扩展到更大规模。

MLlib由一些通用的学习算法和工具组成,包括分类、回归、聚类、协同过滤、降维等,同时还包括底层的优化原语和高层的管道API。

MLllib目前分为两个代码包:spark.mllib 包含基于RDD的原始算法API。

spark.ml ,提供了基于DataFrames高层次的API,可以用来构建机器学习管道,FEA-spk技术的机器学习就是基于spark.ml 包。

spark.ml 包,是基于DataFrame的,未来将成为Spark机器学习的主要API。它可以在分布式集群上进行大规模的机器学习模型训练,并且可以对数据进行可视化。

一、随机森林分类算法的介绍

随机森林顾名思义,是用随机的方式建立一个森林,森林里面有很多的决策树组成,随机森林的每一棵决策树之间是没有关联的。在得到森林之后,当有一个新的输入样本进入时,就让森林中的每一棵决策树分别进行一下判断,看看这个样本应该属于哪一类(对应分类算法),然后看看哪一类被选择最多,就预测这个样本为那一类。

使用Spark MLlib随机森林算法存在不足,需要改进!

具体来讲,使用Spark MLlib进行模型的训练,需要进行大量的数据转化,列聚合为向量等。非常麻烦,并且不能做数据的可视化。

而FEA-spk技术可以很好的解决这些问题。对模型进行训练只需要一句命令就行了,并且可以对结果数据进行可视化展示。

二、Iris 数据分类训练案例

下面列举一个用随机森林分类算法进行Iris 数据分类的例子。

1. 数据准备

原始的数据以及相应的说明可以到https://pan.baidu.com/s/1c2d0hpA下载。 我在这基础之上,增加了header信息。 

这里将下载好的数据放到hdfs上面进行读取。

2. Iris 数据进行训练的具体步骤

(1)要使用FEA-spk技术,首先要创建一个spk的连接,所有的操作都是以它为上下文进行的。在fea界面运行以下命令

(2)加载数据,数据在hdfs上面,数据的格式为csv文件格式,目录为/data/iris_data.txt

(3)使用ML_si方法将字符型的label变成index       

(4)将特征列的类型转化为double类型,因为spark.ml只支持double类型,使用 ML_double方法

(5)使用随机森林模型进行训练

在训练RandomForest模型的时候,我们需要设置好几个参数:

· maxBins

最大装箱数,为了近似统计变量,比如变量有100个值,我只分成10段去做统计,默认值是32;

· numTrees

森林里有几棵树,默认值是20;

· minInstancesPerNode

每个节点最少实例,默认值是1;

· minInfoGain

最小信息增益,默认值是0.0;

· maxDepth

最大树深度,默认值是5;

· maxMemoryInMB

最大内存MB单位,这个值越大,一次处理的节点划分就越多,默认值是256;

· cacheNodeIds

是否缓存节点id,缓存可以加速深层树的训练,默认值是False;

· checkpointInterval

检查点间隔,就是多少次迭代固化一次,默认值是10;

· impurity

随机森林有三种方式,entropy,gini,variance,回归肯定就是variance,默认值是gini;

· seed

采样种子,种子不变,采样结果不变,默认值None;

· featureSubsetStrategy

auto: 默认参数。让算法自己决定,每颗树使用几条数据。

使用的参数如下图所示

(6)对训练好的模型进行打分

可以看到准确率达到了97%

(7)将训练好的模型保存到hdfs上面,以供下次使用

这个非常实用,对于模型比较大的情况下,利用HDFS的分布式结构就可以提高加载性能。

(8)将hdfs上面保存的模型加载进来

(9)对加载后的模型做预测

其中prediction列就是预测的结果

以上就是使用FEA-spk技术进行机器学习的步骤,它非常适合数据分析处理大规模的数据,简单、强大、可视化,不懂Java\Python同样可以玩转Spark!

© 著作权归作者所有

共有 人打赏支持
openfea
粉丝 13
博文 86
码字总数 95615
作品 1
杭州
其他
加载中

评论(2)

openfea
openfea

引用来自“OSC首席键客”的评论

这标题是知乎体。。。看着不是很舒服。

回复@OSC首席键客 : 知乎受众都比较文青,所以才吸引人
OSC首席键客
OSC首席键客
这标题是知乎体。。。看着不是很舒服。
机器学习|决策树分类与python实现

目录: 1.决策树简介 2.决策树生成 a) 选择标准——熵 b) 信息增益——ID3算法 c) 信息增益率——C4.5算法 d) Gini系数——CART算法 e) 评价标准——评价函数 3.剪枝操作 a) 预剪枝 b) 后剪枝...

最会设计的科研狗
2017/06/14
0
0
决策树和随机森林学习笔记-欢迎补充

编者:以下资料来源于网络高质量博客,编者只是摘录精华再加上自己的理解进行补充。 决策树-基础概念 信息熵(熵、联合熵、条件熵、互信息) 「熵」是什么? 怎样以简单易懂的方式向其他人解...

陈司空
2017/04/14
0
0
【Machine Learning】KNN算法虹膜图片识别

K-近邻算法虹膜图片识别实战 作者:白宁超 2017年1月3日18:26:33 摘要:随着机器学习和深度学习的热潮,各种图书层出不穷。然而多数是基础理论知识介绍,缺乏实现的深入理解。本系列文章是作...

伏草惟存
2017/01/03
0
0
kNN(K-Nearest Neighbor)最邻近规则分类

KNN最邻近规则,主要应用领域是对未知事物的识别,即判断未知事物属于哪一类,判断思想是,基于欧几里得定理,判断未知事物的特征和哪一类已知事物的的特征最接近; K最近邻(k-Nearest Neig...

最帅的刘先生
2016/12/23
32
0
决策树和随机森林

随机森林和GBDT算法的基础是决策树 而建立决策树的算法由很多,ID3,C4.5,CART等, ID3: ID3算法的基本流程是:首先找出最有判别力的属性,把样例分成多个子集,每个子集又选择最有判别力的...

michaelgbw
2017/05/17
0
0

没有更多内容

加载失败,请刷新页面

加载更多

网站优化技术包括哪些内容

网站优化Incapsula超越简单的内容缓存,可以优化网站性能或应用程序的用户体验,优化包括内容缩小、动态文件压缩、图像压缩、会话重用优化、TCP优化和连接预合并。 动态文件压缩,普通的web...

上树的熊
30分钟前
1
0
业界 | Teradata全球调研:四分之三企业分析项目数据科学家“缺货”

当地时间10月15日,2018 Teradata全球用户大会在美国拉斯维加斯举行。来自15个国家的3000多位数据人参与了本次峰会。 大会第一日,Teradata发布了针对“企业数据分析”的2018年调研结果。 调...

Mr_zebra
32分钟前
1
0
java 通过Unsafe不使用构造器直接创建对象

这里有一个User没有无参构造 public class User { static { System.out.println("static {}"); } { System.out.println("{}"); } public User(Strin......

ValSong
33分钟前
2
0
eureka 高可用配置 unavailable-replicas 问题.

在使用spring cloud 配置eureka 高可用配置时.发现配置的节点一直无法获取心跳. eureka控制台界面上一直显示的挂载节点 是 unavailable-replicas 查看日志.就是获取心跳的地址不对. 默认的健...

拖鞋莫止步
34分钟前
2
0
Vue2 模板template的四种写法

<div id="app">    <h1>我是直接写在构造器里的模板1</h1></div> <template id="demo3">    <h1 style="color:red">我是选项模板3</h1></template> <script type="x-t......

粒子数反转
34分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部