文档章节

hadoop2.6分布式环境搭建

super_yu
 super_yu
发布于 2015/09/18 15:47
字数 715
阅读 90
收藏 0

1.  虚机的环境准备不详细列出,保证个虚机之间可以ping通,以及无密码登录。

环境准备阶段。

192.168.137.117
master,slave1 zookeeper hadoop
192.168.137.118
slave2 zookeeper
hadoop
192.168.137.119
slave3 zookeeper
hadoop

下载hadoop,http://apache.fayea.com/hadoop/common/stable/hadoop-2.6.0.tar.gz

安装jdk,jdk 1.7.0_71

2.  切换到hadoop用户,解压hadoop-2.6.0.tar.gz。

cd /data0/
tar zxvf hadoop-2.6.0.tar.gz

配置环境变量

vi ~/.bashrc
export JAVA_HOME=/usr/java/jdk1.7.0_71
export HADOOP_HOME=/data0/hadoop-2.6.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source ~/.bashrc

3.  配置分布式环境,hadoop的配置文件主要有core-site.xml,mapred-site.xml, hdfs-site.xml 、 yarn-site.xml文件。

core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data0/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>4096</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>master:2181,slave2:2181,slave3:2181</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobtracker.http.address</name>
        <value>master:50030</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
    </property>
    <property>
        <name>mapreduce.job.queuename</name>
        <value>hadoop</value>
    </property>

</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.nameservices</name>
        <value>ns1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:50090</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data0/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data0/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>
    <property>
        <name>yarn.scheduler.fair.allocation.file</name>
        <value>/data0/hadoop-2.6.0/etc/hadoop/fair-scheduler.xml</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>4</value>
    </property>
</configuration>

配置公平调度器

fair-scheduler.xml

<allocations>
  <queue name="default">
        <minResources>0 mb,0vcores</minResources>
        <maxResources>16384 mb,16vcores</maxResources>
        <maxRunningApps>5</maxRunningApps>
        <weight>1.0</weight>
    </queue>
    <user name="default">
        <maxRunningApps>5</maxRunningApps>
    </user>
  <queue name="hadoop">
    <minResources>1024 mb, 4 vcores</minResources>
    <maxResources>4096 mb, 8 vcores</maxResources>
    <maxRunningApps>200</maxRunningApps>
    <minSharePreemptionTimeout>300</minSharePreemptionTimeout>
    <weight>1.0</weight>
    <!--<schedulingPolicy>fifo</schedulingPolicy>-->
  </queue>
  <user name="hadoop">
    <maxRunningApps>400</maxRunningApps>
  </user>
  <queue name="hive">
    <minResources>1024 mb, 1 vcores</minResources>
    <maxResources>8092 mb, 8 vcores</maxResources>
    <maxRunningApps>200</maxRunningApps>
    <minSharePreemptionTimeout>300</minSharePreemptionTimeout>
    <weight>1.0</weight>
    <!--<schedulingPolicy>fifo</schedulingPolicy>-->
  </queue>
  <user name="hadoop">
    <maxRunningApps>400</maxRunningApps>
  </user>
  <userMaxAppsDefault>40</userMaxAppsDefault>
  <fairSharePreemptionTimeout>6000</fairSharePreemptionTimeout>
</allocations>

hadoop-env.sh ,yarn-env.sh 导入JAVA_HOME

export JAVA_HOME=/usr/java/jdk1.7.0_71
vi masers

master

vi slaves

slave1
slave2
slave3

将配置好的环境打包

tar zcvf hadoop-2.6.0.tar.gz hadoop-2.6.0
scp  hadoop-2.6.0.tar.gz hadoop@slave2:/data0
scp  hadoop-2.6.0.tar.gz hadoop@slave3:/data0

分别登录到另外两台机器,解压hadoop包,并配置环境变量。

最后,格式化hdfs,启动hadoop集群,在master节点上执行如下命令,

hadoop namenode -format
cd $HADOOP_HOME/sbin
./start-all.sh

jps查看后台进程
25337 QuorumPeerMain
1075 HMaster
1694 Jps
25619 DataNode
25494 NameNode
25973 NodeManager
25839 ResourceManager
1470 Main

web查看hdfs,http://192.168.137.117:50070/

查看集群,http://192.168.137.117:8088


至此,hadoop的集群就搭建完成了。

© 著作权归作者所有

super_yu
粉丝 6
博文 22
码字总数 11669
作品 0
海淀
私信 提问
Spark1.4.1 Standalone 分布式搭建

Spark 1.4.1 vm-007 vm-008 vm-009 一、安装Scala2.10.4 编辑 .bashrc 或者 /etc/profile 文件 如下两行 export SCALA_HOME=/opt/software/scala-2.10.4 export PATH=$SCALA_HOME/bin:$PATH......

momisabuilder
2016/12/26
19
0
Windows下单机安装Spark开发环境

机器:windows 10 64位。 因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。 1、Java下Spark开发环境搭建 1.1、jdk安装 安装oracle下的jdk,我安装的是jdk 1.7...

涩女郎
2016/09/20
63
0
windows eclipse 搭建spark开发环境

1、Java下Spark开发环境搭建 1.1、jdk安装 安装oracle下的jdk,我安装的是jdk 1.7,安装完新建系统环境变量JAVAHOME,变量值为“C:Program FilesJavajdk1.7.079”,视自己安装路劲而定。 同时...

张欢19933
2016/10/26
242
0
spark1.6.2集群搭建启动问题

3台ubuntu虚拟机搭建spark完成后,执行start-all.sh启动spark集群后, master提示两个worker>>failed to launch org.apache.spark.deploy.worker.Worker。然后我去查看worker的日志,内容如下:......

fshjq
2016/12/21
445
0
搭建spark on yarn集群全过程

搭建spark on yarn集群全过程 Mz的博客2016-03-24225 阅读 大数据SparkHadoopYarn 机器配置 在VMware上创建4个虚拟机来搭建集群。其中一个master,三个salve。 每台虚拟机配置1G内存,1核CPU...

Mz的博客
2016/03/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

centos7 安装 mysql5.7 版本(全)

centos 安装 版本说明 :centos7,mysql5.7 ,不是 centos7 可能有些命令不兼容 安装 mysql-server # 下载并安装 mysql yum wget -i -c http://dev.mysql.com/get/mysql57-community-relea......

sanri1993
28分钟前
4
0
Spring3.x升级到Spring4.x-5.x时关于MappingJacksonHttpMessageConverter的报错问题

在Spring4.x或者以上的版本强使用(不然会报错): org.springframework.http.converter.json.MappingJackson2HttpMessageConverter 如果是Spring4.0获者以下的版本可以使用MappingJacksonH...

code-ortaerc
30分钟前
3
0
OSG 渲染状态污染到其它节点怎么解决?

在根节点补上初始状态

洛克人杰洛
32分钟前
3
0
grid 布局 设置行列间距

本文转载于:专业的前端网站➪grid 布局 设置行列间距 <!DOCTYPE html><html lang="zh"> <head> <meta charset="UTF-8" /> <meta name="viewport" content="widt......

前端老手
44分钟前
3
0
spring-data-elasticsearch 和 Jackson 配合使用的bug

下面先简单描述项目。 项目依赖: dependencies { implementation group: 'org.springframework.boot', name: 'spring-boot-starter-data-elasticsearch', version: '2.1.0.RELEASE'......

Landas
46分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部