virtualbox中搭建基于centos7.1、hadoop2集群

原创
2013/09/15 12:50
阅读数 816

问题场景:学习hadoop,却苦于没有自己的集群,因此,在自己的计算机上利用虚拟机技术来搭建真实的hadoop集群,进一步地,为学习hadoop生态体系做支撑。

搭建注意事项:

1.在集群内所有机器配置无密钥登录(可能出现的问题有authorized_keys 权限需要是600,~/.ssh/权限需要700,命令如下)

chmod 600 ~/.ssh/authorized_keys

chmod 700 ~/.ssh  

2、永久关闭防火墙和selinux

systemctl disable firewalld

systemctl disable selinux

重启操作系统

3、配置部分
    3.1 建议设置HADOOP_CONF_DIR变量将hadoop的配置文件拷贝到该目录下编辑的文件包括:core-site.xml yarn-site.xml hdfs-site.xml mapred-site.xml slaves hadoop-env.sh yarn-env.sh ,当配置结束后,建议在单节点测试NAMENODE,DATANODE,RESOURCEMANAGER,NODEMANAGER,JOBHISTORYSERVER等进程是否能正常启动

4 上述步骤验证无误后,清除多余数据,将jdk、hadoop以及相应配置文件向从节点分发,进行验证

搭建教程:

http://hadoop.apache.org/docs 下的集群部署文档

展开阅读全文
打赏
0
12 收藏
分享
加载中
更多评论
打赏
0 评论
12 收藏
0
分享
在线直播报名
返回顶部
顶部