文档章节

hadoop2.2集群

Zero零_度
 Zero零_度
发布于 2015/10/27 20:16
字数 442
阅读 116
收藏 6

1、ls -l
查看文件所有者,以及权限

2、网络配置、hosts配置(hostname配置)、ssh免密配置、环境变量配置、关闭防火墙

3、文件配置
配置文件1:hadoop-env.sh

JAVA_HOME=/usr/jdk1.7


配置文件2:yarn-env.sh

JAVA_HOME=/usr/jdk1.7

配置文件3:slaves
sniper2
sniper3

配置文件4:core-site.xml
<configuration>
       <property>
                <name>fs.defaultFS</name>
                <value>hdfs://sniper1:9000</value>
       </property>
       <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
       <property>
               <name>hadoop.tmp.dir</name>
               <value>/home/grid/soft/java/hadoop/hadoop/tmp</value>
       </property>
        <property>
               <name>hadoop.proxyuser.grid.hosts</name>
               <value>*</value>
       </property>
       <property>
               <name>hadoop.proxyuser.grid.groups</name>
               <value>*</value>
       </property>
</configuration>

配置文件5:hdfs-site.xml
<configuration>
       <property>
               <name>dfs.namenode.secondary.http-address</name>
               <value>sniper1:9001</value>
       </property>
        <property>
                <name>dfs.namenode.name.dir</name>
               <value>/home/grid/soft/java/hadoop/hadoop/dfs/name</value>
       </property>
       <property>
               <name>dfs.datanode.data.dir</name>
               <value>/home/grid/soft/java/hadoop/hadoop/dfs/data</value>
       </property>
       <property>
               <name>dfs.replication</name>
               <value>2</value>
       </property>

       <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>

       <property>
               <name>dfs.webhdfs.enabled</name>
               <value>true</value>
       </property>
</configuration>


配置文件6:mapred-site.xml
<configuration>
      <property>                                                                  
               <name>mapreduce.framework.name</name>
               <value>yarn</value>
      </property>
      <property>
               <name>mapreduce.jobhistory.address</name>
               <value>sniper1:10020</value>
      </property>
      <property>
               <name>mapreduce.jobhistory.webapp.address</name>
               <value>sniper1:19888</value>
      </property>

</configuration>

配置文件7:yarn-site.xml
<configuration>
      <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
      </property>
      <property>                                                                
               <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
               <value>org.apache.hadoop.mapred.ShuffleHandler</value>
      </property>
      <property>
               <name>yarn.resourcemanager.address</name>
               <value>sniper1:8032</value>
      </property>
      <property>
               <name>yarn.resourcemanager.scheduler.address</name>
               <value>sniper1:8030</value>
      </property>
      <property>
            <name>yarn.resourcemanager.resource-tracker.address</name>
            <value>sniper1:8031</value>
      </property>
      <property>
              <name>yarn.resourcemanager.admin.address</name>
              <value>sniper1:8033</value>
      </property>
      <property>
              <name>yarn.resourcemanager.webapp.address</name>
              <value>sniper1:8088</value>
      </property>
</configuration>

配置:/etc/profile

HADOOP_HOME=/usr/hadoop

PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

格式化之前先重启电脑,否则可能会出现当前主机名和配置后主机名不一致的情况

格式化:hdfs namenode -format

启动hdfs:start-dfs.sh

查看hdfs状态:hdfs dfsadmin -safemode get

启动yarn:start-yarn.sh

启动historyserver:mr-jobhistory-daemon.sh start historyserver

测试是否正常 bin/hadoop  jar  share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar  wordcount  /README.txt   /out

hadoop jar helloworld.jar cn.sniper.hadoop.HelloWorld


查看HDFS: http://sniper1:50070  

查看RM: http://sniper1:8088     

查看历史:http://sniper1:19888

测试是否正常 bin/hadoop  jar  share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar  wordcount  /README.txt   /out

 

© 著作权归作者所有

共有 人打赏支持
上一篇: hbase集群
下一篇: 添加sudo权限
Zero零_度
粉丝 69
博文 1253
码字总数 256597
作品 0
程序员
私信 提问
怎样将Mysql的数据导入到Hbase,并在页面做查询展示

今天遇到一个问题:怎样将Mysql的数据导入到Hbase并在页面做查询展示。 我hadoop集群现在用的是hadoop2.2,HBase用的是0.98

Jacos
2014/04/17
1K
4
hadoop2.x常用端口、定义方法及默认端口

以hadoop2.2为例完全分布式最新高可靠安装文档 http://www.aboutyun.com/thread-7684-1-1.html hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比 http://www.aboutyun.com/thread...

aibati2008
2016/04/13
50
0
在hadoop2.2集群上部署sqoop1.993

今天在hadoop2.2集群上部署sqoop1.993 出现了这个问题: 我的操作步骤是: 1、修改了配置文件sqoop1993/server/conf下的sqoop.properties文件 # Hadoop configuration directory org.apache....

Jacos
2014/04/16
198
0
windows配置hbase异常winutils.exe

配置好hbase依赖,填写完集群,正要开开心心地scan一下表实验下: java.io.IOException: Could not locate executable nullbinwinutils.exe in the Hadoop binaries. 一个更开心的exception就...

屌丝Lee
2015/11/09
0
0
Hadoop系统实际运行的时候是不是都是用命令行执行的?Hadoop和Java的联系有哪些?

我这两天装了一下Hadoop2.2的集群,用了Yarn和Zookeeper,执行Mapreduce的时候都是用命令行,比如hadoop jar mapreduceExample.jar /user/root/data/source.txt /user/root/output/result 当...

文心雕码
2014/10/13
971
3

没有更多内容

加载失败,请刷新页面

加载更多

移植Modbus到STM32F103(2):移植FreeModbus到usart3并运行示例代码

FreeModbus是Modbus的一个被广泛移植的实现。其源码在github,最新版是1.6。 FreeModbus支持Modbus功能码里的0x01~0x06,0x0F~0x11和0x17,对一些功能比如异常诊断和读事件计数等功能码并没有...

Konstantine
52分钟前
1
0
浅谈神经网络(神经网络篇)

背景 之前写过浅谈神经网络基础篇,简单介绍下机器学习这块内容,用于扫盲。本文正式将神经网络,这部分是深度学习的基础。了解完可以掌握强大的机器学习的方法,也可以更好的了解深度学习。...

Uknowzheng
今天
3
0
移动硬盘变为RAW格式后的修复

在Mac上使用自己的移动硬盘结果文件系统格式变为RAW; 在自己windows笔记本上使用chkdsk H: /F进行修复,修复日志如下: C:\Users\mengzhang6>chkdsk H: /F文件系统的类型是 NTFS。卷标是 do...

晨猫
今天
3
0
10 Git —— 标签管理

10 Git —— 标签管理 本节内容: 命令git tag <tagname>用于新建一个标签,默认为HEAD,也可以指定一个commit id;命令git tag -a <tagname> -m "blablabla..."可以指定标签信息;命令git......

lwenhao
今天
3
0
小程序设置垂直居中,水平居中

如果子容器中的view需要居中的话,那需要在父容器中设置居中 水平居中: display: flex; flex-direction: column; align-items: center; 垂直居中 display: flex;align-items: cen...

淘幻幻
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部