文档章节

Hadoop 2.6.4单节点集群环境搭建

JackieYeah
 JackieYeah
发布于 2016/04/11 22:30
字数 1154
阅读 2430
收藏 19

一、软件准备

1. jdk-7u80-linux-x64.tar.gz
2. hadoop-2.6.4.tar.gz
3. ssh客户端(必须安装 ssh 且必须运行 sshd 以便使用 Hadoop 脚本来管理远程的 Hadoop 守护进程, Mac自带有 ssh 客户端)

二、JDK安装配置

1. 下载解压 jdk-7u80-linux-x64.tar.gz。
2. 配置环境变量, 编辑 .bash_profile 文件,在文件末尾添加以下内容:
# Java Env
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_80.jdk/Contents/Home
export JRE_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_80.jdk/Contents/Home/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
3. 保存后,运行 source .bash_profile,使环境变量立即生效。

4. 输入 java -version 可以看到成功安装的JDK版本信息。

三、Hadoop安装配置

1. 下载解压 hadoop-2.6.4.tar.gz。

2. 修改 .bash_profile 文件配置 Hadoop 环境变量,在文件末尾添加以下内容:

# Hadoop Env
export HADOOP_HOME=/Users/jackiehff/Software/hadoop-2.6.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存后,运行 source .bash_profile, 使 Hadoop 环境变量立即生效。

3. 修改 Hadoop 环境变量配置文件 etc/hadoop/hadoop-env.sh,在文件末尾添加以下内容:

# The java implementation to use.
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_80.jdk/Contents/Home

export HADOOP_PREFIX=/Users/jackiehff/Software/hadoop-2.6.4
4. 输入 hadoop version 可以看到成功安装的 Hadoop 版本信息。

5. 输入 hadoop 可以看到 hadoop 命令使用方法。

四、单机模式操作

Hadoop默认配置运行于非分布式模式中,即作为单个的 Java 进程运行,这样调试起来会很方便。下面运行一下自带的 WordCount 程序。

mkdir input
cp etc/hadoop/*.xml input
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output
 'dfs[a-z.]+'

运行过程大致如下:

注意:output 目录必须事先不存在。

查看运行结果

cat outut/*
运行结果如下:

五、伪分布式模式操作

1、配置ssh

因为伪分布模式下,即使所有节点都在一台机器上,Hadoop 也需要通过 ssh 登录,这一步的目的是配置本机无密码 ssh 登录。

验证是否可以不需要密码 ssh 到 localhost。

ssh localhost

如果不行,执行如下命令:

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

再次执行 ssh localhost,就无需密码。


2、修改Hadoop配置文件

伪分布式模式主要涉及以下配置信息:

(1) 修改 Hadoop 的核心配置文件 core-site.xml, 主要是配置 HDFS 的地址和端口号。

<configuration>
     <property>
          <name>fs.defaultFS</name>
          <value>hdfs://localhost:9000</value>
     </property>
     <property>
        <name>hadoop.tmp.dir</name>
        <value>/Users/jackiehff/Software/hadoop-2.6.4/tmp</value>
     </property>
</configuration>

(2) 修改 Hadoop 中 HDFS 的配置文件 hdfs-site.xml, 主要是配置数据副本。

<configuration>
     <property>
          <name>dfs.replication</name>
          <value>1</value>
     </property>
</configuration>

(3) 修改 Hadoop 中 MapReduce 配置文件 mapred-site.xml, 主要是配置 MapReduce 框架名称。

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

(4) 修改 Hadoop 中 YARN 的配置文件 yarn-site.xml,主要用于指定 shuffle server。

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>
</configuration>

3 、执行

(1) 格式化文件系统

hdfs namenode -format
(2) 启动 NameNode 和 DataNode 守护进程
start-dfs.sh
Hadoop 守护进程日志输出写到 $HADOOP_LOG_DIR 指定的目录 (默认是 $HADOOP_HOME/logs)

输出结果如下:

16/04/11 21:38:26 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [localhost]
localhost: starting namenode, logging to /Users/jackiehff/Software/hadoop-2.6.4/logs/hadoop-jackiehff-namenode-jackiehff.local.out
localhost: starting datanode, logging to /Users/jackiehff/Software/hadoop-2.6.4/logs/hadoop-jackiehff-datanode-jackiehff.local.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /Users/jackiehff/Software/hadoop-2.6.4/logs/hadoop-jackiehff-secondarynamenode-jackiehff.local.out
16/04/11 21:39:39 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
使用 jps 查看当前所有 Java 进程

可以看到 HDFS 启动成功。

(3) 浏览器访问 NameNode ,地址: http://localhost:50070/。

(4) 启动 ResourceManager 和 NodeManager 进程

start-yarn.sh
输出信息如下:
starting yarn daemons
starting resourcemanager, logging to /Users/jackiehff/Software/hadoop-2.6.4/logs/yarn-jackiehff-resourcemanager-jackiehff.local.out
localhost: starting nodemanager, logging to /Users/jackiehff/Software/hadoop-2.6.4/logs/yarn-jackiehff-nodemanager-jackiehff.local.out
使用 jps 查看当前所有 Java 进程

可以看到 NodeManager 和 ResourceManager 启动成功。

(5) 浏览器访问 ResourceManager, 地址: http://localhost:8088/。

(6) 创建执行MapReduce 任务所需的HDFS 目录。

hdfs dfs -mkdir /input
(7)  拷贝输入文件到分布式文件系统
hdfs dfs -put etc/hadoop/* /input
(8) 运行示例程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep /input output dfs'[a-z.]+'
(9) 查看运行结果
hdfs dfs -cat output/*

可以在浏览器中查看相关 Job。

(9) 停止 HDFS。

stop-dfs.sh
(10) 停止 YARN。
stop-yarn.sh

© 著作权归作者所有

JackieYeah
粉丝 45
博文 70
码字总数 90004
作品 0
武汉
程序员
私信 提问
Spark 1.6.1分布式集群环境搭建

一、软件准备 scala-2.11.8.tgz spark-1.6.1-bin-hadoop2.6.tgz 二、Scala 安装 1、master 机器 (1)下载 scala-2.11.8.tgz, 解压到 /opt 目录下,即: /opt/scala-2.11.8。 (2)修改 scala-......

JackieYeah
2016/04/14
8.6K
6
hadoop2.6.4 安装和编译

hadoop集群搭建 tools: SecureCRT8.0 VMware12 RHEL 6.6 x64 网络规划: hadoop0 192.168.248.150 hadoop1 192.168.248.151 hadoop2 192.168.248.152 hadoop3 192.168.248.153 设置静态ip:......

lizer2016
2016/07/26
0
0
Hadoop 2.6.4分布式集群环境搭建

一、软件准备 VMware-Fusion-8.0.0-2985594.dmg ubuntu-14.04.4-desktop-amd64.iso 二、集群机器准备 在VMware Fusion中安装三台虚拟机,如下: 在安装三台虚拟机的时候,创建专门用于 Hado...

JackieYeah
2016/04/13
10.7K
4
Hadoop(2015/8/19最新发行版2.7.1): 搭建一个单节点集群。官方文档翻译

根据官方文档边操作边翻译,如有谬误欢迎拍砖指正!大家一起学习。也欢迎推荐更多有用学习文档给我,谢谢! Hadoop: 搭建一个单节点集群。 Hadoop: 搭建一个单节点集群。 目的 先决条件 操作...

duty
2015/08/19
753
0
hadoop-2.6.4集群编译搭建-阿里云和腾讯云

腾讯云阿里云 hadoop集群编译搭建 环境准备 阿里云配置: 腾讯云配置: 创建用户 useradd hadoop passwd haddop jdk1.7安装: 下载:http://www.oracle.com/technetwork/java/javase/downloa...

lizer2016
2016/07/31
0
0

没有更多内容

加载失败,请刷新页面

加载更多

前端技术之:Prisma Demo服务部署过程记录

安装前提条件: 1、已经安装了docker运行环境 2、以下命令执行记录发生在MackBook环境 3、已经安装了PostgreSQL(我使用的是11版本) 4、Node开发运行环境可以正常工作 首先需要通过Node包管...

popgis
今天
5
0
数组和链表

数组 链表 技巧一:掌握链表,想轻松写出正确的链表代码,需要理解指针获引用的含义: 对指针的理解,记住下面的这句话就可以了: 将某个变量赋值给指针,实际上就是将这个变量的地址赋值给指...

code-ortaerc
今天
4
0
栈-链式(c/c++实现)

上次说“栈是在线性表演变而来的,线性表很自由,想往哪里插数据就往哪里插数据,想删哪数据就删哪数据...。但给线性表一些限制呢,就没那么自由了,把线性表的三边封起来就变成了栈,栈只能...

白客C
今天
41
0
Mybatis Plus service

/** * @author beth * @data 2019-10-20 23:34 */@RunWith(SpringRunner.class)@SpringBootTestpublic class ServiceTest { @Autowired private IUserInfoService iUserInfoS......

一个yuanbeth
今天
5
0
php7-internal 7 zval的操作

## 7.7 zval的操作 扩展中经常会用到各种类型的zval,PHP提供了很多宏用于不同类型zval的操作,尽管我们也可以自己操作zval,但这并不是一个好习惯,因为zval有很多其它用途的标识,如果自己...

冻结not
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部