文档章节

hadoop安装部署

vieky
 vieky
发布于 2014/11/22 22:52
字数 565
阅读 64
收藏 0

一:准备工作 1:准备号JDK环境 2:关闭防火墙 3:selinux disabled 4: ssh安装 5:修改host文件 6:修改hostname

二:下载CDH http://archive.cloudera.com/cdh4/cdh/4/

三:环境变量配置 export JAVA_HOME=/home/bigdata/jdk1.7.0_45
export HADOOP_HOME=/home/hadoop/cdh4.4.0/hadoop-2.0.0-cdh4.4.0
export HADOOP_COMMOM_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HDFS_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LIB=$HADOOP_HOME/lib
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native

export PATH=$PATH:/etc/haproxy/sbin/:$JAVA_HOME/bin:$JAVA_HOME/jre/bin  
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$HADOOP_LIB/native/libhadoop.so  

四:配置文件 core-site.xml

<configuration> <property> <name>fs.default.name</name>
<value>hdfs://hadoop-001:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/hadoop/tmp</value> </property> <property> <name>fs.trash.interval</name> <value>10080</value> </property> <property> <name>fs.trash.checkpoint.interval</name> <value>10080</value> </property> <!-- <property> <name>io.compression.codecs</name> <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.SnappyCodec </value> </property> <property> <name>io.compression.codec.lzo.class</name> <value>com.hadoop.compression.lzo.LzoCodec</value> </property>--> <!-- OOZIE --> <property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>hadoop-001</value> </property> <property> <name>hadoop.proxyuser.hadoop.groups</name> <value>hadoop</value> </property>

</configuration>

hdfs-site.xml

<configuration> <property> <name>dfs.replication</name> <value>2</value> </property> <!-- <property> <name>hadoop.tmp.dir</name> <value>/hadoop/tmp</value> </property>--> <property> <name>dfs.namenode.name.dir</name> <value>file:/hadoop/name</value> <final>ture</final> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/hadoop/data</value> <final>ture</final> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.namenode.http-address</name> <value>hadoop-001:50070</value> </property> <property> <name>dfs.secondary.http.address</name> <value>hadoop-001:50090</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <!--for impala <property> <name>dfs.client.read.shortcircuit</name> <value>true</value> </property> <property> <name>dfs.domain.socket.path</name> <value>/var/run/hadoop-hdfs/dn._PORT</value> </property> <property> <name>dfs.client.file-block-storage-locations.timeout</name> <value>3000</value> </property> <property> <name>dfs.datanode.hdfs-blocks-metadata.enabled</name> <value>true</value> </property>--> </configuration>

yarn-site.xml

<configuration> <!-- Site specific YARN configuration properties --> <property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop-001:18025</value> </property> <property>
<name>yarn.resourcemanager.address </name>
<value>hadoop-001:18040</value> </property> <property>
<name>yarn.resourcemanager.scheduler.address </name>
<value>hadoop-001:18030</value> </property> <property>
<name>yarn.resourcemanager.admin.address </name>
<value>hadoop-001:18141</value> </property> <property>
<name>yarn.resourcemanager.webapp.address </name>
<value>hadoop-001:8088</value> </property> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce.shuffle</value> </property> <property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property>
<name>yarn.application.classpath</name>
<value>$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/,$HADOOP_COMMON_HOME/share/hadoop/common/lib/,$HADOOP_HDFS_HOME/share/hadoop/hdfs/,$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/,$HADOOP_YARN_HOME/share/hadoop/yarn/,$HADOOP_YARN_HOME/share/hadoop/yarn/lib/</value> </property> </configuration>

mapred-site.xml

<configuration>    
   <property>    
      <name>mapreduce.framework.name</name>    
      <value>yarn</value>    
  </property>    
  <property>    
      <name>mapreduce.jobhistory.address</name>    
      <value>hadoop-001:10020</value>    
  </property>    
  <property>    
      <name>mapreduce.jobhistory.webapp.address</name>    
      <value>hadoop-001:19888</value>    
  </property>    
  <property>    
      <name>mapreduce.job.tracker</name>    
      <value>hadoop-001:8021</value>    
      <final>ture</final>    
  </property>    
  <property>    
      <name>mapred.system.dir</name>    
      <value>file:/hadoop/mapred/system</value>    
      <final>ture</final>    
  </property>    
  <property>    
       <name>mapred.local.dir</name>    
       <value>file:/hadoop/mapred/local</value>    
       <final>ture</final>    
  </property>    
  <property>      
      <name>mapred.child.env</name>      
      <value>LD_LIBRARY_PATH=/usr/local/lib</value>      
  </property>     
  <!--<property>    
      <name>mapreduce.map.output.compress</name>    
      <value>true</value>    
  </property>    
  <property>    
      <name>mapreduce.map.output.compress.codec</name>    
      <value>com.hadoop.compression.lzo.LzoCodec</value>    
  </property>-->    
</configuration>

五:创建号hdfs配置文件中的目录

六:格式化namenode hadoop namenode -format

七: 启动各自服务

© 著作权归作者所有

共有 人打赏支持
vieky
粉丝 12
博文 55
码字总数 47106
作品 0
长沙
高级程序员
(9)Hadoop 2.6.1 集群部署——未配置HA

1. 引言 在前面的博客中,我曾经介绍了的伪分布配置,但是在实际工作中最常见的是集群部署,在本篇博客中就主要介绍一下的集群部署(未配置),在本篇博客中使用五台新安装的机器,从零部署。...

LoveCarpenter
2017/12/14
0
0
Hadoop+Hbase+Zookeeper集群配置

系统版本: CentOS 7.3 最小化安装 软件版本: Hadoop 2.8.0 Hbase 1.3.1 Zookeeper 3.4.9 集群规划: 一、服务器初始配置 (所有服务器执行) 1、按集群规划修改主机名及IP地址。 2、关闭防火...

月夜星魂
2017/07/12
0
0
(10)Zookeeper 3.4.9 集群部署

1.引言 在前面的博客中介绍了的伪分布部署,在本篇博客中主要介绍一下的集群部署,在本篇博客中使用三台机器部署集群,如下表所示: 本博客的安装环境为: 的版本为: 的安装目录为: 的版本...

LoveCarpenter
2017/12/14
0
0
Hadoop快速部署工具--EasyHadoop

EasyHadoop 是一个Hadoop一键安装系统,方便大家更容易安装部署Hadoop软件。 EasyHadoop 由前暴风影音数据团队修湘调研,向磊编写,以GPL协议进行开源 开放此管理部署系统方便大家安装使用,以此...

Slaytanic
2012/02/19
40.5K
0
hbase高可用集群部署(cdh)

一、概要 本文记录hbase高可用集群部署过程,在部署hbase之前需要事先部署好hadoop集群,因为hbase的数据需要存放在hdfs上,hadoop集群的部署后续会有一篇文章记录,本文假设hadoop集群已经部...

navyaijm2012
2017/05/10
0
0

没有更多内容

加载失败,请刷新页面

加载更多

你为什么在Redis里读到了本应过期的数据

一个事故的故事 晚上睡的正香突然被电话吵醒,对面是开发焦急的声音:我们的程序在访问redis的时候读到了本应过期的key导致整个业务逻辑出了问题,需要马上解决。 看到这里你可能会想:这是不...

IT--小哥
今天
2
0
祝大家节日快乐,阖家幸福! centos GnuTLS 漏洞

yum update -y gnutls 修复了GnuTLS 漏洞。更新到最新 gnutls.x86_64 0:2.12.23-22.el6 版本

yizhichao
昨天
5
0
Scrapy 1.5.0之选择器

构造选择器 Scrapy选择器是通过文本(Text)或 TextResponse 对象构造的 Selector 类的实例。 它根据输入类型自动选择最佳的解析规则(XML vs HTML): >>> from scrapy.selector import Sele...

Eappo_Geng
昨天
4
0
Windows下Git多账号配置,同一电脑多个ssh-key的管理

Windows下Git多账号配置,同一电脑多个ssh-key的管理   这一篇文章是对上一篇文章《Git-TortoiseGit完整配置流程》的拓展,所以需要对上一篇文章有所了解,当然直接往下看也可以,其中也有...

morpheusWB
昨天
5
0
中秋快乐!!!

HiBlock
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部