文档章节

大数据系列12:Hadoop2 – 全新的Hadoop

杨尚川
 杨尚川
发布于 2015/04/07 00:25
字数 388
阅读 95
收藏 1

wget http://mirrors.hust.edu.cn/apache/hadoop/common/stable2/hadoop-2.2.0.tar.gz

tar -xzvf hadoop-2.2.0.tar.gz

cd hadoop-2.2.0

vi etc/hadoop/hadoop-env.sh

修改:

export  JAVA_HOME=/home/ysc/jdk1.7.0_17

vi etc/hadoop/slaves

修改localhosthost001

vi etc/hadoop/core-site.xml

增加:

<property>

       <name>fs.defaultFS</name>

       <value>hdfs://host001:9000</value>

</property>

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

vi etc/hadoop/mapred-site.xml

增加:

<property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

</property>

<property>

       <name>mapreduce.cluster.local.dir</name>

       <value>/home/ysc/mapreduce/local</value>

</property>

vi etc/hadoop/yarn-site.xml

增加:

<property>

       <name>yarn.resourcemanager.hostname</name>  

       <value>host001</value>

</property>

<property>

       <name>yarn.nodemanager.aux-services</name> 

       <value>mapreduce_shuffle</value> 

</property>

vi etc/hadoop/hdfs-site.xml

增加:

<property>

       <name>dfs.name.dir</name>

       <value>/home/ysc/dfs/filesystem/name</value>

</property>

<property>

       <name>dfs.data.dir</name>

       <value>/home/ysc/dfs/filesystem/data</value>

</property>

<property>

       <name>dfs.replication</name>

       <value>3</value>

</property>

sudo vi /etc/profile

增加:

export  HADOOP_PREFIX=/home/ysc/hadoop-2.2.0

export  HADOOP_COMMON_HOME=/home/ysc/hadoop-2.2.0

export  HADOOP_MAPRED_HOME=/home/ysc/hadoop-2.2.0

export  HADOOP_CONF_DIR=/home/ysc/hadoop-2.2.0/etc/hadoop

export  HADOOP_HDFS_HOME=/home/ysc/hadoop-2.2.0

export  HADOOP_YARN_HOME=/home/ysc/hadoop-2.2.0

source /etc/profile

格式化:

bin/hdfs namenode -format

启动dfs

sbin/start-dfs.sh

启动yarn

sbin/start-yarn.sh

启动historyserver

sbin/mr-jobhistory-daemon.sh start  historyserver

运行wordcount

echo  "APDPlat is a java open source project,  Application Product Development Platform."  >  text1.txt

echo  "Yang Shangchuan is the founder of APDPlat which won the "2013 Outstanding Open Source Project" award."  >  text2.txt

bin/hadoop  fs  -mkdir input

bin/hadoop  fs  -put text1.txt  input

bin/hadoop  fs  -put text2.txt  input

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount  input  output

访问管理页面

ResourceManager: http://host001:8088

NodeManager: http://host001:8042  

NameNode:http://host001:50070

NameNode:http://host001:50070

 

停止dfs

sbin/stop-dfs.sh

停止yarn

sbin/stop-yarn.sh

停止historyserver

sbin/mr-jobhistory-daemon.sh stop  historyserver

 

 注意:要把这里的主机host001和用户ysc替换为你自己的,在/etc/hosts文件中要把127.0.0.1 localhost改为实际IP地址 host001

 

 

 

 

APDPlat旗下十大开源项目

 

 

 

 

 


© 著作权归作者所有

杨尚川

杨尚川

粉丝 1103
博文 220
码字总数 1624053
作品 12
东城
架构师
私信 提问
好程序员大数据入门学习之Hadoop技术优缺点

好程序员大数据入门学习之Hadoop技术优缺点 (1)Hadoop具有按位存储和处理数据能力的高可靠性。 (2)Hadoop通过可用的计算机集群分配数据,完成存储和计算任务,这些集群可以方便地扩展到数以千...

好程序员IT
03/29
13
0
好程序员大数据教程分享之Hadoop优缺点

好程序员大数据教程分享之Hadoop优缺点,大数据成为时代主流,开启时代的大门,全球43亿部电话、20亿位互联网用户每秒都在不断地产生大量数据,人们发送短信给朋友、上传视频、用手机拍照、更...

好程序员IT
06/11
15
0
手动安装hadoop集群

官网手册: http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html 主机信息 主机名 ip hadoop1 10.0.70.242 hadoop2 10.0.70.243 hadoop3 10.0.70.230 hadoop4 10.0.70.231 一.设置主......

周新宇1991
2016/11/07
0
0
hadoop(集群)完全分布式环境搭建

一,环境 主节点一台: ubuntu desktop 16.04 zhoujun 172.16.12.1 从节点(slave)两台:ubuntu server 16.04 hadoop2 172.16.12.131 hadoop3 172.16.12.129 二, 搭建前准备 1, 为每台服务...

m0_37138008
2017/12/18
0
0
hadoop2.7.2集群搭建

集群规划: 1. zookeeper集群搭建 1.1 解压 1.2 修改配置 修改: 在zoo.cfg最后添加: 1.3 将配置好的zookeeper拷贝到其他节点 注意:修改hadoop4、hadoop5对应/home/hbase /zookeeper-3.4....

你我他有个梦
2016/10/26
94
0

没有更多内容

加载失败,请刷新页面

加载更多

程序设计基础(C)第06讲例程

1summing.c /* summing.c -- 根据用户键入的整数求和 */#include <stdio.h>int main(void){ long num; long sum = 0L; /* 把sum 初始化为0 */ int status; p......

树人大学数字媒体吴凡
5分钟前
3
0
聊聊nacos config的publishConfig

序 本文主要研究一下nacos config的publishConfig ConfigController nacos-1.1.3/config/src/main/java/com/alibaba/nacos/config/server/controller/ConfigController.java @Controller@R......

go4it
32分钟前
3
0
Eureka应用注册与集群数据同步源码解析

在之前的EurekaClient自动装配及启动流程解析一文中我们提到过,在构造DiscoveryClient类时,会把自身注册到服务端,本文就来分析一下这个注册流程 客户端发起注册 boolean register() t...

Java学习录
42分钟前
10
0
Java描述设计模式(15):责任链模式

本文源码:GitHub·点这里 || GitEE·点这里 一、生活场景描述 1、请假审批流程 公司常见的请假审批流程:请假天数 当 day<=3 天,项目经理审批当 3<day<=5 天,部门经理审批当 day>5 天...

知了一笑
52分钟前
10
0
总结:数组与链表

1、内存申请:数组在内存上是连续的空间;链表,内存地址上可以是不连续的。 2、查询速度:数组可以随机访问,链表必须顺序访问,即从首个元素开始遍历,逐个查找,所以数组查询很快。 3、写入...

浮躁的码农
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部