文档章节

Hadoop

Linux_Near
 Linux_Near
发布于 2014/09/15 13:23
字数 941
阅读 10
收藏 0

参考链接http://hadoop.apache.org/docs/r1.2.1/index.html
1、hadoop单结点部署测试环境

[root@lv1 ~]# useradd -u 800 hadoop
[root@lv1 ~]# passwd hadoop
[hadoop@lv1 ~]$ ssh-keygen 
[hadoop@lv1 ~]$ ssh-copy-id localhost
[hadoop@lv1 ~]$ ssh localhost
[hadoop@lv1 ~]$ logout
[hadoop@lv1 ~]$ ssh 192.168.2.145
[hadoop@lv1 ~]$ logout
[hadoop@lv1 ~]$ ssh lv1.example.com
[hadoop@lv1 ~]$ logout
lftp i:/> get pub/docs/hadoop/hadoop-1.2.1.tar.gz 
lftp i:/> get pub/docs/java/jdk-6u32-linux-x64.bin
[hadoop@lv1 ~]$ tar zxf hadoop-1.2.1.tar.gz 
[hadoop@lv1 ~]$ chown -R hadoop.hadoop hadoop-1.2.1/
[hadoop@lv1 ~]$ ln -s hadoop-1.2.1/ hadoop
[hadoop@lv1 ~]$ sh jdk-6u32-linux-x64.bin 
[hadoop@lv1 ~]$ mv jdk1.6.0_32/ hadoop
[hadoop@lv1 ~]$ cd hadoop
[hadoop@lv1 hadoop]$ ln -s jdk1.6.0_32/ jdk
[hadoop@lv1 hadoop]$ vim conf/hadoop-env.sh 打开
export JAVA_HOME=/home/hadoop/hadoop/jdk

测试

[hadoop@lv1 hadoop]$ cp -r conf/ input
[hadoop@lv1 hadoop]$ bin/hadoop jar hadoop-examples-1.2.1.jar grep input output 'dfs[a-z.]+' 过滤测试
[hadoop@lv1 hadoop]$ cat output/part-00000 
1    dfs.server.namenode.
1    dfsadmin
[hadoop@lv1 hadoop]$ bin/hadoop jar hadoop-examples-1.2.1.jar wordcount input test 统计单词测试

2、伪分布式hadoop
在单一结点做任务的map-reduce

[hadoop@lv1 ~]$ mkdir bin
[hadoop@lv1 ~]$ ln -s /home/hadoop/hadoop/jdk/bin/jps ~/bin/ 便于使用jps命令

配置文件
conf/core-site.xml:

<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
</configuration>

conf/hdfs-site.xml:

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

conf/mapred-site.xml:

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
</configuration>
[hadoop@lv1 hadoop]$ bin/hadoop namenode -format 初始化namenode
[hadoop@lv1 hadoop]$ bin/start-all.sh 开启
[hadoop@lv1 hadoop]$ jps 
2641 NameNode 相当于存储master
2912 JobTracker 相当于任务分发,与master在一起 
3032 TaskTracker 作业结点
2744 DataNode 数据存储结点
2847 SecondaryNameNode

浏览器访问查看监控:
    NameNode - http://localhost:50070/
    JobTracker - http://localhost:50030/

[hadoop@lv1 hadoop]$ bin/hadoop fs -mkdir input
[hadoop@lv1 hadoop]$ bin/hadoop fs -put conf/* input
[hadoop@lv1 hadoop]$ bin/hadoop jar hadoop-examples-1.2.1.jar wordcount input output
[hadoop@lv1 hadoop]$ bin/hadoop fs -cat output/*

3、完全分布式
实验环境:
192.168.2.145   lv1.example.com 启动SecondaryNameNode、JobTracker、NameNode
192.168.2.146   node1.example.com 启动TaskTracker、DataNode
192.168.2.189   node2.example.com
192.168.2.142   node3.example.com 添加删除结点

master到slave之间无密码验证

[root@node1 ~]# useradd -u 800 hadoop
[root@node2 ~]# useradd -u 800 hadoop
[root@node1 ~]# passwd hadoop
[hadoop@lv1 ~]$ scp -r .ssh/ node1.example.com:
[hadoop@lv1 ~]$ scp -r .ssh/ node2.example.com:
[hadoop@lv1 ~]$ ssh node1.example.com 测试
[hadoop@lv1 ~]$ ssh node2.example.com

修改配置文件

[hadoop@lv1 hadoop]$ vim conf/masters
lv1.example.com
[hadoop@lv1 hadoop]$ vim conf/slaves
node1.example.com
node2.example.com
[hadoop@lv1 hadoop]$ vim conf/core-site.xml 
修改localhost为lv1.example.com
[hadoop@lv1 hadoop]$ vim conf/mapred-site.xml 
修改localhost为lv1.example.com
[hadoop@lv1 hadoop]$ vim conf/hdfs-site.xml 
修改value的值为2,数据为2份
[hadoop@lv1 ~]$ scp -r hadoop-1.2.1/ node1.example.com:
[hadoop@lv1 ~]$ scp -r hadoop-1.2.1/ node2.example.com:

两个node结点制作软链接

[hadoop@node1 ~]$ ln -s hadoop-1.2.1/ hadoop
[hadoop@node1 ~]$ mkdir bin
[hadoop@node1 ~]$ cd bin/
[hadoop@node1 bin]$ ln -s ~/hadoop/jdk/bin/jps .

重新格式化namenode

[hadoop@lv1 hadoop]$ bin/hadoop namenode -format
[hadoop@lv1 hadoop]$ bin/start-all.sh 启动hadoop
starting namenode, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-namenode-lv1.example.com.out
node1.example.com: starting datanode, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-datanode-node1.example.com.out
node2.example.com: starting datanode, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-datanode-node2.example.com.out
lv1.example.com: starting secondarynamenode, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-secondarynamenode-lv1.example.com.out
starting jobtracker, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-jobtracker-lv1.example.com.out
node1.example.com: starting tasktracker, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-tasktracker-node1.example.com.out
node2.example.com: starting tasktracker, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-tasktracker-node2.example.com.out

测试

[hadoop@lv1 hadoop]$ bin/hadoop fs -put conf input
[hadoop@lv1 hadoop]$ bin/hadoop fs -ls
drwxr-xr-x   - hadoop supergroup          0 2014-06-15 02:19 /user/hadoop/input
[hadoop@lv1 hadoop]$ bin/hadoop jar hadoop-examples-1.2.1.jar grep input output 'dfs[a-z.]+'
[hadoop@lv1 hadoop]$ bin/hadoop fs -cat output/* 查看结果

浏览器访问http://192.168.2.145:50030和http://192.168.2.145:50030

动态添加删除结点

[hadoop@lv1 hadoop]$ dd if=/dev/zero of=bigfile bs=1M count=100
[hadoop@lv1 hadoop]$ bin/hadoop fs -mkdir files
[hadoop@lv1 hadoop]$ bin/hadoop fs -put bigfile files 上传到HDFS中
[hadoop@lv1 hadoop]$ bin/hadoop dfsadmin -report 可以看到两个结点各有100M数据
[root@node3 ~]# useradd -u 800 hadoop
[root@node3 ~]# echo mmmmmm | passwd --stdin hadoop
[hadoop@lv1 ~]$ scp -r .ssh/ node3.example.com:
[hadoop@node3 bin]$ ln -s ~/hadoop-1.2.1/jdk/bin/jps .
[hadoop@node3 ~]$ ln -s hadoop-1.2.1/ hadoop
[hadoop@lv1 hadoop]$ vim conf/slaves 
[hadoop@node3 hadoop]$ bin/hadoop-daemon.sh start datanode
[hadoop@node3 hadoop]$ bin/hadoop-daemon.sh start tasktracker
[hadoop@lv1 hadoop]$ bin/hadoop dfsadmin -report 可以看到有3个结点,但是文件并没有均衡
[hadoop@node3 hadoop]$ bin/start-balancer.sh 开启均衡


© 著作权归作者所有

Linux_Near
粉丝 1
博文 22
码字总数 21380
作品 0
西安
私信 提问
hadoop 2.7.2 安装 在zkfc 格式化时报错

hadoop的安装环境为centos6.5 64位 [hadoop@node01 hadoop-2.7.2]$ bin/hdfs zkfc -formatZK 16/08/12 15:10:07 WARN util.NativeCodeLoader: Unable to load native-hadoop library for you......

驛路梨花醉美
2016/08/12
1.3K
1
Apache Hadoop 2.6.0安装部署

注:本文档参考官方文档编写,原文链接:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html http://hadoop.apache.org/docs/r2.6.0/hadoop-proje......

lee_ypp
2015/04/02
3.3K
0
hadoop全分布式高可用方案

集群规划: 主机名 IP 安装的软件 运行的进程 hadoop01 192.168.88.155 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain hadoop02(A)192.168.88.164 jdk、hadoo......

泡海椒
2015/12/20
752
0
CentOS 6.5 搭建Hadoop 2.5.2集群

记录在64位CentOS 6.5环境下搭建Hadoop 2.5.2集群的步骤,同时遇到问题的解决办法,这些记录都仅供参考! 1、操作系统环境配置 1.1、操作系统环境 主机名 IP地址 角色 Hadoop用户 hadoop-mas...

巴利奇
2018/01/05
0
0
Hadoop 2.5.0编译到Apache Hadoop Common失败

[INFO] ------------------------------------------------------------------------ [INFO] Reactor Summary: [INFO] [INFO] Apache Hadoop Main ................................. SUCCES......

尧雪
2018/04/19
588
1

没有更多内容

加载失败,请刷新页面

加载更多

ZhaoWei-2020-01-29

并发相关 1、并发编程三要素? (1)原子性 原子性指的是一个或者多个操作,要么全部执行并且在执行的过程中不被其他操作打断,要么就全部都不执行。 (2)可见性 可见性指多个线程操作一个共...

SuSheePark
21分钟前
43
0
用于除法时,“ /”和“ //”之间有什么区别?

将一个使用在另一个上是否有好处? 在Python 2中,它们似乎都返回相同的结果: >>> 6/32>>> 6//32 #1楼 它有助于阐明Python 2.x的行, /既不是下位划分也不是真正的划分。 当前接受的答案...

技术盛宴
21分钟前
41
0
微信小程序结构说明

一、微信小程序结构: 小程序框架的目标是通过尽可能简单、高效的方式让开发者可以在微信中开发具有原生App体验服务 小程序框架提供了自己的视图层描述语言wxml和wxss以及JavaScript,并在视...

冥焱
25分钟前
48
0
AspectJ 切点指示器-03-execution

execution() 匹配满足某一匹配条件的目标方法的连接点 各个类最终结构图如下: 1、Factory package com.test.aspectj.expression;/** * 工厂接口 */public interface Factory {...

moon888
今天
72
0
“ STL”和“ C ++标准库”有什么区别?

有人引起了我的注意, 这篇文章声称(我的意思是) STL术语被误用于指代整个C ++标准库,而不是指从SGI STL中获得的部分。 (...)它指的是“ STL”,尽管实际上仍然很少有人使用STL(它是S...

javail
今天
60
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部