文档章节

Hadoop2.0.0伪分布式

贲大侠
 贲大侠
发布于 2016/10/18 19:37
字数 881
阅读 15
收藏 0

1.Linxu配置

1.1关闭防火墙

  • service iptables stop(暂时关闭防火墙,重启后开启)
  • chkconfig iptables off(永久关闭)

1.2修改ip

1.3修改主机名和ip的映射关系

  • 修改主机名称
  • vi /etc/sysconfig/network
  • 修改映射关系
  • vi /etc/hosts

1.4安装JDK

  • jdk下载地址(tar.gz)
  • http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
  • 解压jdk
  • tar zxvf jdk-7u79-linux-x64.tar.gz
  • 创建文件夹统一管理jdk
  • mkdir /usr/java 
  • 转移
  • mv jdk-7u79-linux-x64.tar.gz /usr/java/
  • mv jdk-7u79-linux-x64 /usr/java/
  • 配置环境变量
  • 复制jdk目录(/usr/java/jdk1.7.0_79)
  • 打开配置文件
  • vi /etc/profile
  • 按大写G到最后一行,按o新增一行。
  • export JAVA_HOME=/usr/java/jdk1.7.0_79
  • export PATH=$PATH:$JAVA_HOME/bin
  • 更新变量
  • source /etc/profile

2.Hadoop配置

2.1安装hadoop

  • 访问archive.apache.org/dist/下载hadoop(core内的稳定版本 下载后缀为 tar.gz的 大于15M)
  • 创建Hadoop文件夹
  • mkdir /hadoop
  • 转移
  • mv hadoop-2.2.0.tar.gz /hadoop/
  • 解压
  • tar -zxvf hadoop-2.2.0.tar.gz

2.2配置hadoop伪分布式(修改四个配置文件)

  • hadoop目录下

  • bin目录放可执行脚本

  • share存放依赖Java的jar包

  • sbin启动脚本

  • etc存放配置文件

  • (1)修改etc/hadoop/下的hadoop-env.sh [修改hadoop环境变量]

  • vi hadoop-env.sh

  • 修改JavaHome

  • The java implementation to use.

  • export JAVA_HOME=/usr/java/jdk1.7.0_79

  • (2)修改etc/hadoop/下的core-site.xml (添加)

  • vi core-site.xml

  • <configuration>

  • 第一个属性是用来指定HDFS的老大(NameNode)的地址

  •         <property>

  •                     <name>fs.defaultFS</name>

  •                     <value>hdfs://主机名:9000</value>

  •          </property>

  • 第二个属性是用来指定Hadoop运行时产生文件的存放目录

  •         <property>

  •                     <name>hadoop.tmp.dir</name>

  •                     <value>/cloud/hadoop-2.2.0/tmp</value>

  •          </property>

  • </configuration>

  • (3)修改etc/hadoop/下的 hdfs-site.xml

  • 指定hdfs保存数据副本的数量

  • <configuration>

  •         <property>

  •                     <name>dfs.replication</name>

  •                     <value>1</value>

  •            </property>

  • </configuration>

  • (4)修改ect/hadoop/下的 mapred-site.xml

  • hadoop官方并没有给mapred-site.xml只是给了一个mapred-site.xml.template的模板

  • 修改名字

  • mv mapred-site.xml.template mapred-site.xml

  • 告诉hadoop以后mr运行在YARN上

  • <configuration>

  •         <property>

  •                     <name>mapreduce.framework.name</name>

  •                     <value>yarn</value>

  •            </property>

  • </configuration>

  • (5)修改ect/hadoop/下的 yarn-site.xml

  • <configuration>

  •     第一个属性nodemanager获取数据的方式是shuffe

  •     <property>

  •         <name>yarn.nodemanager.aux-services</name>

  •         <value>mapreduce_shuffle</value>

  •     </property>

  • </configuration>

2.3将hadoop添加到环境变量

  • (1)将hadoop添加到环境变量
  • 打开配置文件
  • vi /etc/profile
  • 按大写G到最后一行,按o新增一行。
  • 将之前的path复制删除之后添加hadoophome在旧path后追加hadoophome
  • exprot HADOOP_HOME=/hadoop/hadoop-2.2.0
  • export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
  • 更新变量
  • source /etc/profile

2.4初始化HDFS(格式化文件系统)

  • hadoop namenode -format(老命令 过时了,但是依然可用)
  • hdfs namenode -format 格式化命令(搭建hadoop后只进行一次格式化)
  • 格式化后找到:INFO common.Storage: Storage directory /hadoop/hadoop-2.2.0/tmp/dfs/name has been successfully formatted.
  • 看到successfully formatted 那么好,格式化成功了

2.5启动hadoop

2.6测试HDFS

小贴士 不知道命令的时候 按回车查看

2.7测试MR和YARN

2.8SSH免密码登录配置

  • 生成ssh 公私钥
  • ssh-keygen -t rsa
  • 将当前公钥拷贝到已认证的钥匙库里
  • cp id_rsa.pub authorized_keys

至此,如若测试全部通过,hadoop伪分布式集群搭建成功

© 著作权归作者所有

贲大侠
粉丝 1
博文 21
码字总数 19667
作品 0
海淀
程序员
私信 提问
hadoop2.x的配置二

三、yarn-site.xml 1.ResourceManager的配置,参考:Hadoop YARN配置参数剖析(1)—RM与NM相关参数 !yarn.resourcemanager.ha.enabled=false。 非YARN HA使用默认配置 YARN HA使用如下配置 ...

cjun1990
2015/08/24
817
0
how to install hadoop2.0.0 for centos6.4

1.JAVA INSTALL(root) ># mkdir /usr/JAVA >#./jdk-6u45-linux-i586.bin ># vim /etc/profile export JAVAHOME=/usr/JAVA/jdk1.6.045 export CLASSPATH=.:$JAVAHOME/jre/lib/rt.jar:$JAVAHOM......

temptrack
2013/10/24
0
0
ZooKeeper伪分布式集群安装

获取ZooKeeper安装包 下载地址:http://apache.dataguru.cn/zookeeper 选择一个稳定版本进行下载,我这里下载的是zookeeper-3.4.6版本。 ZooKeeper伪分布式集群安装 伪分布式集群:在一台Ser...

蔡佳娃
2015/03/08
0
0
ZooKeeper的伪分布式集群搭建以及真分布式集群搭建

zk集群的一些基本概念 zookeeper集群搭建: zk集群,主从节点,心跳机制(选举模式) 配置数据文件 myid 1/2/3 对应 server.1/2/3 通过 zkCli.sh -server [ip]:[port] 命令检测集群是否配置成...

ZeroOne01
2018/04/24
0
0
ZooKeeper一二事 - 搭建ZooKeeper伪分布式及正式集群 提供集群服务

集群真是好好玩,最近一段时间天天搞集群,redis缓存服务集群啦,solr搜索服务集群啦,,,巴拉巴拉 今天说说zookeeper,之前搭建了一个redis集群,用了6台机子,有些朋友电脑跑步起来,有点...

风间影月
2016/05/02
0
0

没有更多内容

加载失败,请刷新页面

加载更多

REST接口

文章来源 https://zhuanlan.zhihu.com/p/28674721?group_id=886181549958119424 http://www.ruanyifeng.com/blog/2014/05/restful_api.html REST 对请求的约定 REST 用来规范应用如何在 HTTP......

Airship
昨天
1
0
Spring Cloud Config 统一配置中心

Spring Cloud Config 统一配置中心 一、统一配置中心 统一管理配置 通常,我们会使用配置文件来管理应用的配置。如一个 Spring Boot 的应用,可以将配置信息放在 application.yml 文件中,如...

非摩尔根
昨天
1
0
android ------ AAPT2 error: check logs for details解决方法

AAPT 是全称是 Android Asset Packaging Tool,它是构建 App,甚至是构建 Android 系统都必不可少的一个工具。它的作用是将所有资源文件压缩打包到Android APK 当中。我们在 Android SDK 目录...

切切歆语
昨天
2
0
今天的学习

今天学到了<select></select>标签: <label for="unittype">Select unit type: </label><select id="unittype" name="unittype" autofocus > <option value="1"> Miner </option> ......

墨冥
昨天
2
0
程序员随想-关于分享

最早的时候,文字是贵族这些上层人士才会学习的,底层人士没有资格和渠道去学习,同样用文字、图像等其他载体承载的知识大部分也只有贵族阶层才能享受的。后来有了造纸术、印刷术,成本降低,...

Lubby
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部