Hadoop 集群配置

原创
2017/01/01 17:30
阅读数 52

hadoop集群,应该如何搭建?采用什么样的硬件组合?使用多少台机器,以便构建一个基本可用的最小集群? 4 1TB hard disks in a JBOD (Just a Bunch Of Disks) configuration 2 quad core CPUs, running at least 2-2.5GHz 16-24GBs of RAM (24-32GBs if you’re considering HBase) Gigabit Ethernet

机器和机器之间,通过万兆交换机互连。机器内部应安装足够的硬盘,而且采用高速连接,最好使用ssd硬盘。 为做好系统的调优,在内存的配对上,都要考虑槽位问题。尽量采用双通道,提升io吞吐。

hadoop单独运行并没有什么特别的意思,所以一般情况是 hadoop有4种角色,namenode ,secondary namenode ,datanode ,jobtracker namenode 和 resource manager最好是独立安装。

数据文件所在的目录可以有多个,这些目录将都会用于数据存储。

mapreduce 属于初代技术,现在都被yarn所取代。所以,安装hadoop的时候,所说的mapreduce引擎,默认是yarn.

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部