文档章节

Ubuntu上Hadoop Mapreduce集群搭建以及程序运行

找一片天空散步
 找一片天空散步
发布于 2013/01/20 23:39
字数 1788
阅读 6642
收藏 137

      为了完成计算机综合实验的考核,折腾了三天,终于完成了在Hadoop集群上完成了Mapreduce的实验。但是,后面的考试接踵而至,也就没能及时写下心得,考试结束了。赶紧把过程中的步骤和遇到的困难记录下来,跟大家分享交流一下,废话少说,入正题。

      一、创建Hadoop用户

~$ sudo addgroup hadoop 
~$ sudo adduser --ingroup hadoop hadoop
      但是,所创建的用户还不具备admin权限,所以需要赋予admin权限。
~$ sudo gedit /etc/sudoers
# Members of the admin group may gain root privileges
%admin ALL=(ALL) ALL
hadoop ALL=(ALL) ALL

      这样,就可以使用hadoop用户,并且拥有admin权限了。以下操作,都是在hadoop用户下进行的。而且,集群中的每一台机器都要创建这样的用户,并且在这样的用户下进行如下操作。

     二、基本准备之JAVA&JDK

     这一部分参见我之前写的博文:http://my.oschina.net/jamesju/blog/94916

     每一台机器,都要配置好Java环境。不过,话说这部分我的集群上的集群是一个64位3个32位,而且一个是jdk1.7其它的多是openjdk,结果事实证明,没有问题出现。

     三、基本准备之修改/etc/hosts文件

~$ sudo gedit /etc/hosts   
127.0.0.1	  localhost
192.168.1.102   zhangju-ThinkPad-T420
192.168.1.107   jojo-Thinkpad-R60
192.168.1.100   ubuntu
192.168.1.104   zhaohui-ThinkPad-X230

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
      集群中的每一台机器,都要填好以上的信息。这里需要强调的是,我们一开始是用无线路由器配置的,后来,证明速度有些慢,后来改成了网线,建议大家一开始就用网线固定IP地址的分配。

      四、安装配置SSH 

     需要注意的事情是,所有的集群都需要关闭防火墙:

~$ sudo ufw disable   
~$ sudo apt-get install ssh
     这个安装完后,可以直接使用ssh命令了。
     执行$ netstat  -nat    查看22端口是否开启了。
     测试:ssh localhost。
     输入当前用户的密码,回车就ok了。说明安装成功,同时ssh登录需要密码。
   (这种默认安装方式完后,默认配置文件是在/etc/ssh/目录下。sshd配置文件是:/etc/ssh/sshd_config): 
      注意:在所有机子都需要安装ssh。     

     安装之后:

~$ cd /home/hadoop 
~$ ssh-keygen -t rsa
      然后一直回车,完成后,在home跟目录下会产生隐藏文件夹.ssh。
~$ cd .ssh
~$ ls
~$ cp id_rsa.pub  authorized_keys
     测试:
~$ ssh localhost

     第一次ssh会有提示信息:

     The authenticity of host ‘node1 (10.64.56.76)’ can’t be established.
     RSA key fingerprint is 03:e0:30:cb:6e:13:a8:70:c9:7e:cf:ff:33:2a:67:30.
     Are you sure you want to continue connecting (yes/no)?

     输入 yes 来继续。这会把该服务器添加到你的已知主机的列表中

     发现链接成功,并且无需密码。

     复制authorized_keys到集群其他机器上,为了保证主节点可以无需密码自动登录到其他机器,先在其他机器上执行:

~$ su hadoop
~$ cd /home/hadoop
~$ ssh-keygen -t rsa
    一路按回车.
    然后回到主节点,复制authorized_keys到其他集群的机器上:
~$ cd /home/hadoop/.ssh
~$ scp authorized_keys   node1.2.3.....n:/home/hadoop/.ssh/
    这里会提示输入密码,输入hadoop账号密码就可以了。
    改动你的 authorized_keys 文件的许可权限
~$ sudo chmod 644 authorized_keys
    测试:ssh node1.2.....n(第一次需要输入yes)。
    如果不须要输入密码则配置成功,如果还须要请检查上面的配置能不能正确。

    五、安装Hadoop

~$ sudo wget http://apache.mirrors.tds.net//hadoop/common/hadoop-0.20.203.0/hadoop-0.20.203.0rc1.tar.gz
    下载安装包后,直接解压安装即可:  
~$ tar -zxvfhadoop-0.20.203.0rc1.tar.gz
    注意:

1.安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。并且安装路径要一致,如果我们用HADOOP_HOME指代安装的根路径,通常,集群里的所有机器的HADOOP_HOME路径相同。

2.如果集群内机器的环境完全一样,可以在一台机器上配置好,然后把配置好的软件即hadoop-0.20.203整个   文件夹拷贝到其他机器的相同位置即可。

3.可以将Master上的Hadoop通过scp拷贝到每一个Slave相同的目录下,同时根据每一个Slave的Java_HOME 的不同修改其hadoop-env.sh 。

4.为了方便,使用hadoop命令或者start-all.sh等命令,修改Master上/etc/profile 新增以下内容:
   export HADOOP_HOME=/home/hadoop/hadoop-0.20.203
   exportPATH=$PATH:$HADOOP_HOME/bin
   修改完毕后,执行source /etc/profile 来使其生效。 

集群配置:

配置文件:

conf/core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>
 <name>fs.default.name</name>
  <value>hdfs://192.168.1.102:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
 <value>/home/hadoop/tmp</value>
</property> 

</configuration>
conf/mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>
  <name>mapred.job.tracker</name>
  <value>192.168.1.102:9001</value>
</property>
<!--<property>
  <name>mapred.local.dir</name>
 <value>/home/hadoop/hadoop_home/var</value>
</property> -->

</configuration>
conf/hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>

<property>

<!--<name>dfs.name.dir</name>
<value>/home/hadoop/name1, /home/hadoop/name2</value> #hadoop的name目录
<description>  </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/data1, /home/hadoop/data2</value>
<description> </description>
</property>
<property> -->
  <name>dfs.replication</name>
  <!-- 我们的集群有四个结点,所以rep两份 -->
  <value>4</value>
</property>

</configuration>
配置masters和slaves主从节点:

     配置conf/masters和conf/slaves来设置主从结点,注意最好使用主机名,并且保证机器之间通过主机名可以互相访问,每个主机名一行。

~$ sudo gedit masters
zhangju-ThinkPad-T420
~$ sudo gedit slaves
jojo-Thinkpad-R60
ubuntu
zhangju-ThinkPad-T420
zhaohui-ThinkPad-X230

     最后,将hadoop文件夹拷贝到集群中的各个机器上:

~$ scp -r /home/hadoop/hadoop root@node1.2.....n: /home/hadoop/
六、hadoop启动以及测试:
~$ cd /home/hadoop/hadoop/bin
~$ hadoop namenode -format
成功情况下系统将输出类似如下信息:
12/02/06 00:46:50 INFO namenode.NameNode:STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = ubuntu/127.0.1.1
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 0.20.203.0
STARTUP_MSG:   build =http://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20-security-203-r 1099333; compiled by 'oom' on Wed May 4 07:57:50 PDT 2011
************************************************************/

12/02/0600:46:50 INFO namenode.FSNamesystem: fsOwner=root,root
12/02/06 00:46:50 INFO namenode.FSNamesystem:supergroup=supergroup
12/02/06 00:46:50 INFO namenode.FSNamesystem:isPermissionEnabled=true
12/02/06 00:46:50 INFO common.Storage: Imagefile of size 94 saved in 0 seconds.
12/02/06 00:46:50 INFO common.Storage: Storagedirectory /opt/hadoop/hadoopfs/name1 has been successfully formatted.
12/02/06 00:46:50 INFO common.Storage: Imagefile of size 94 saved in 0 seconds.
12/02/06 00:46:50 INFO common.Storage: Storagedirectory /opt/hadoop/hadoopfs/name2 has been successfully formatted.
12/02/06 00:46:50 INFO namenode.NameNode:SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode atv-jiwan-ubuntu-0/127.0.0.1
************************************************************/

启动服务:

~$ start-all.sh
停止服务:
~$ stop-all.sh
查看:

     NameNode - http://node1:50070/
     JobTracker - http://node1:50030/

     如果操作正确,就会看到,集群的节点数,以及所有的相关信息显示。

七、运行实例

~$ cd /home/hadoop/hadoop/bin
~$ hadoop fs -mkdir input 
~$ hadoop fs ls 
~$ cd ..
~$ hadoop fs -put NOTICE.txt REDME.txt input 
~$ hadoop fs -ls input
~$ hadoop jar hadoop-examples-1.0.4.jar wordcount input output          

       然后就可以看到map reduce的过程。

~$ hadoop fs -ls output 
~$ hadoop fs -cat output/part-r-00000
       就可以看到相关的程序结果了。

       以上操作就是关于ubuntu上进行hadoop reduce集群的环境搭建,并且进行了测试和实例的运行,在这个基础上就可以进行mapreduce的学习编程和大数据的处理了。

       祝大家玩的愉快!








© 著作权归作者所有

上一篇: CMU Sphinx介绍
找一片天空散步
粉丝 64
博文 37
码字总数 27844
作品 0
南开
私信 提问
加载中

评论(10)

MarvinWang
MarvinWang
有时间俺也起草一篇关于Hortonworks vm使用的经验!本人也用过Cloudera的,本质没有区别!
x
xtf115
为了测试hadoop+hbase+flume环境,做日志收集的分析,前不久刚用一台台式和一台笔记本搭过这个环境,都是在虚拟机的环境下搞的集群,台式机开了4个虚拟机,1个namenode,3个datanode,笔记本开了两个虚拟机,一个搞前端收集分析日志,一个做日志推送,接口好多关于java写的api,我搞php的真是费劲,还在学习中。。。
tpopen
tpopen
有条件测试就是好。。
天马行空&
天马行空&
非常不错,学习了!
闫锋
闫锋
Mark一下,以后用得到
找一片天空散步
找一片天空散步 博主

引用来自“Eric_Lee”的评论

我前一段时间在公司也搭建了这么个环境玩了玩,机器不够就两台机器,只好一个上面放了datanode和namenode,一个上面放了datanode。

我们是研究生的一个实验课考核,我们宿舍四个机器搞的,话说能够直观大家的机器性能啊~
Eric_Lee
Eric_Lee
我前一段时间在公司也搭建了这么个环境玩了玩,机器不够就两台机器,只好一个上面放了datanode和namenode,一个上面放了datanode。
找一片天空散步
找一片天空散步 博主

引用来自“FeiFan”的评论

你可以试试Cloudera的分发版, 很容易搭建, 也比较稳定. 我之前用过官方的版本, 集群部署很麻烦.

多谢~我查查看
FeiFan
FeiFan
你可以试试Cloudera的分发版, 很容易搭建, 也比较稳定. 我之前用过官方的版本, 集群部署很麻烦.
车开源
车开源
好强大呀~学习。俺也是前几天把MYSQL集群也搭了一下,收获的感觉真好
阿里云 E-MapReduce产品优势及使用场景

E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 产品优势: 与自建集...

凹凹凸曼
2018/09/12
0
0
大数据经典学习路线(及供参考)之 一

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此...

柯西带你学编程
2018/05/22
0
0
Hadoop实战之 MapReduce

私塾在线 整体课程概览 第一部分:开始云计算之旅 第二部分:初识Hadoop 第三部分:Hadoop 环境安装部署 第四部分:Hadoop Shell 基本操作介绍 第五部分:Hadoop 分布式文件系统1 第五部分:...

linni
2014/01/08
706
0
使用Python实现Hadoop MapReduce程序

笔者的机器运行效果如下(输入数据是find的帮助手册,和笔者预期一样,the是最多的): --------------------------------------以下是原帖--------------------------------- 在这个实例中,...

彼得
2014/04/03
0
4
E-MapReduce成为全球首个 TPC-DS 认证的公共云产品

3月19日,阿里云智能 E-MapReduce 团队联合 ECS 和 OSS 团队在 TPC 官网( http://www.tpc.org/ )上提交了 TPC-DS Benchmark 报告,E-MapReduce以 106% 的成绩提升成为TPC 系列 Benchmark ...

EMR
05/31
0
0

没有更多内容

加载失败,请刷新页面

加载更多

分布式架构 实现分布式锁的常见方式

一、我们为什么需要分布式锁? 在单机时代,虽然不需要分布式锁,但也面临过类似的问题,只不过在单机的情况下,如果有多个线程要同时访问某个共享资源的时候,我们可以采用线程间加锁的机制...

太猪-YJ
38分钟前
3
0
GitLab Docker 安装记录

安装环境 环境Centos7.4 64 1.拉取镜像文件 docker pull gitlab/gitlab-ce:latest 2.docker 安装 git.zddts.com 为访问域名或换成可以访问的IP docker run -d --hostname git.***.com -p ......

侠者圣
今天
0
0
部署kubernates dashboard

参考官方文档: https://github.com/kubernetes/dashboard 直接部署官方默认的dashboard: kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/r......

猫海豚
今天
0
0
Docker中Redis的安装

一、下载镜像 docker pull redis 二、创建外挂目录及配置 mkdir /opt/docker/redismkdir /opt/docker/redis/confmkdir /opt/docker/redis/data 三、安装 docker run -d --name compose_r......

闊苡訆涐囍醣
今天
0
0
JNI内存泄露处理方法汇总

在c++中new的对象,如果不返回java,必须用release掉,否则内存泄露。包括NewStringUTF,NewObject。如果返回java不必release,java会自己回收。   jstring jstr = env->NewStringUTF((*p)....

shzwork
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部