文档章节

cdh4.7.0安装配置

cjun1990
 cjun1990
发布于 2015/07/25 16:15
字数 618
阅读 79
收藏 0

3 月,跳不动了?>>>

注意:

1.有关core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml的配置,参考:hadoop2.x的配置

2.有关hadoop的命令,参考:hadoop2.x的命令

3.先修改一台机器的配置文件,剩余机器的配置都从这台机器上拷贝。

cdh所有的相关软件下载:http://archive.cloudera.com/cdh5/ 

cdh有自己的操作系统版本支持列表,可到官网查询。找到对应的cdh Documentation,找到Requirements and Supported Versions,不要安装操作系统不支持的cdh版本,否则报错。

url:http://www.cloudera.com/content/cloudera/en/documentation/cdh4/latest/CDH4-Requirements-and-Supported-Versions/cdhrsv_topic_1.html

找到Supported Operating Systems项查看。

安装步骤:

1.安装hadoop前,需做如下事情:新建用户,修改host文件,关闭防火墙,安装jdk,配置好master对各slave的免密码访问。

2.修改hadoop-2.0.0-cdh4.7.0/etc/hadoop/hadoop-env.sh的JAVA_HOME和 HADOOP_PID_DIR

export JAVA_HOME=/apps/jdk
export HADOOP_PID_DIR=/home/bigdata/data/hadoopdata/pids

 虽然~/.bashrc中配置了JAVA_HOME,但是这里也要配置,因为很多情况下JAVA_HOME会获取不到。

HADOOP_PID_DIR默认是/tmp。hadoop停止的是通过pid来停止的,如果配置在/tmp的话,/tmp会定时清空,如果清空了的话,当你要stop-all.sh时,就会提示:no datanode to stop,所以需要配置。yarn也需要配置,如下:

修改hadoop-2.0.0-cdh4.7.0/etc/hadoop/yarn-env.sh

export YARN_PID_DIR=/home/bigdata/data/hadoopdata/pids

参考:Spark集群无法停止的原因分析和解决

3.修改环境变量~/.bashrc,每台机器都要修改,修改后执行source ~/.bashrc

export HADOOP_HOME=/home/cdh/apps/hadoop-2.0.0-cdh4.7.0 #hive会用到
export HADOOP_MAPRED_HOME=${HADOOP_HOME} #sqoop会用到
export HADOOP_COMMON_HOME=${HADOOP_HOME} #sqoop会用到
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export YARN_HOME=${HADOOP_HOME}
export HADOOP_YARN_HOME=${HADOOP_HOME}
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop #spark on yarn会用到 
export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop #spark on yarn会用到  
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

4.修改core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml文件,参考:hadoop2.x的配置

6.映射NameNode、DataNode节点主机

vi hadoop-2.0.0-cdh4.7.0/etc/hadoop-mapreduce1-secure/masters

master
slave1

vi hadoop-2.0.0-cdh4.7.0/etc/hadoop/slaves

slave1
slave2

7.检查lib/native包,参考:Unable to load native-hadoop library for your pla

8.集群各节点时间校准,在每个节点同时执行命令:date -s "2015-5-8 19:48:00"。

9.将配置拷贝到其他机器。

10.启动集群,参考:hadoop2.x的命令

11.测试安装是否成功,参考:测试hadoop集群是否安装成功:网页监控页面和提交job

参考:Cloudera CDH4.7 Hadoop 分布式安装指南及注意事项

© 著作权归作者所有

cjun1990
粉丝 36
博文 371
码字总数 183914
作品 0
深圳
程序员
私信 提问
当hive和hbase整合之后,执行hql,提示找不到类。

当hive和hbase整合之后,执行hive ql 启动运行task时,提示java.lang.ClassNotFoundException,首先考虑下面这种情况: 在hive-site.xml中的hive.aux.jars.path属性配置是否完整,首先最少的...

cjun1990
2015/07/27
240
0
hadoop2.6.0安装配置

注意: 1.有关core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml的配置,参考:hadoop2.x的配置 2.有关hadoop的命令,参考:hadoop2.x的命令 3.先修改一台机器的配置文件,剩余...

cjun1990
2015/03/25
158
0
linux常用命令*

tail -f worker-0.log 动态刷新文件worker-0.log最后的内容 chown -R xuer:xuer log2012.log 将log2012.log的own设置为xuer,后面一个xuer是用户组的意思 scp ~/.ssh/id_dsa.pub xuer@host2......

cjun1990
2016/10/14
10
0
Flume NG 简介及配置实战

Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,...

大数据之路
2014/07/08
5.7W
9
Flume-ng的原理和使用

介绍 Flume NG是Cloudera提供的一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的...

张欢19933
2016/01/20
270
0

没有更多内容

加载失败,请刷新页面

加载更多

什么是反射,为什么有用? - What is reflection and why is it useful?

问题: What is reflection, and why is it useful? 什么是反射,为什么有用? I'm particularly interested in Java, but I assume the principles are the same in any language. 我对Jav......

技术盛宴
37分钟前
19
0
SSM框架整合

mybatis逆向工程 mybatis-generator生成pojo、mapper接口及映射文件 mapper放到e3-manager-dao层中 导入sql到数据库中; 导入逆向工程工具,配置xml文件 运行main方法 重复运行main不会覆盖!...

七宝1
今天
30
0
OSChina 周日乱弹 —— 和网友的第一次开房经历

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @薛定谔的兄弟 :分享洛神有语创建的歌单「我喜欢的音乐」: 《Ljósið》- Ólafur Arnalds 手机党少年们想听歌,请使劲儿戳(这里) @xiaos...

小小编辑
今天
54
0
程序员职业生涯指引

程序员应该尽早规划自己的职业生涯 为什么写 众所周知 IT 这一行到了一定的年龄、大部分人都或多或少有危机感,特别是今年全国乃至全球发生的疫情、导致整体经济受到很大的影响、这次的疫情影...

科比可比克
今天
11
0
JVM调优实战分析

一、查看服务器项目JVM参数以及参数分析 1、jps 命令 : 列出系统中所有的 Java 应用程序以及PID 如下图所示,26647就是我部署在服务器的一个小项目的 PID 2、jmap命令:查看堆的使用情况 如...

IT-Mamba
今天
46
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部