在类树莓派的ARM开发板上组建大数据集群

原创
2016/06/12 22:36
阅读数 4K

先上效果:

这是由三块pine64+开发板搭建的mini集群,网上有用树莓派搭建Hadoop文章,不过由于树莓派的性能实在太差了(很老的CPU,1G内存),所以最终我选择了与之价格相近(200左右一块)的pine64+(官方链接在此:http://www.pine64.com/product),它有一颗4核64位的A53 CPU及2GB DDR3的内存。

我目前安装了Hadoop、Spark、Zookeeper、HBase With Phoenix,除了Spark 1.6.1的snappy尚不支持ARM外(可使用LZ4CompressionCodec代替),搭建过程和普通的硬件没有区别。怎么安装可以参见网上的各类文章或参考我的电子书:http://gudaoxuri.github.io/bd-lab/

再来张使用DBeaver查询HBase的效果:

在ARM板上运行大数据集群在什么用处呢?我觉得有三点:

1. 个人实验用,ARM板便宜,又比虚拟机贴近真实,用来学习或新技术实验是个不错的选择

2. 节能,目前大数据集群很耗能,相比而言,ARM架构有可能在能耗与性能上找到平衡点

3. 移动化,目前大多移动设备都是ARM架构的,如果以后大数据服务单节点足够轻量,可以运行在各个手机中,那么也许会有很多新的场景,这点不是我异想天开,看看databricks的一篇很有意思的调研文章:https://databricks.com/blog/2015/04/01/spark-2-rearchitecting-spark-for-mobile.html

展开阅读全文
打赏
0
8 收藏
分享
加载中
更多评论
打赏
0 评论
8 收藏
0
分享
返回顶部
顶部