文档章节

#hadoop#单机(伪分布)安装及测试

Hochikong
 Hochikong
发布于 2014/09/08 17:26
字数 911
阅读 143
收藏 3


tips:这个部署完全在以root用户操作,系统为ubuntu14.04,使用了Oracle JDK7_u55替换原来的OpenJDK


安装过程:


安装Java:

从自己的宿主机ftp服务器下载包:

cd /usr/lib/jvm
wget ftp://192.168.42.110/jdk-7u55-linux-x64.tar.gz 
tar xvf jdk-7u55-linux-x64.tar.gz
mv jdk1.7.0_55/ java-7-sun


编辑bashrc:

vi ~/.bashrc
#添加以下内容
export JAVA_HOME=/usr/lib/jvm/java-7-sun
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
#source一下
source ~/.bashrc


因为还有一个默认的OpenJDK,需要进行设置,修改默认JDK为刚刚安装的Oracle JDK:

update-alternatives --install /usr/bin/java java /usr/lib/jvm/java-7-sun/bin/java 300
update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java-7-sun/bin/javac 300
update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/java-7-sun/bin/jar 300 
update-alternatives --install /usr/bin/javah javah /usr/lib/jvm/java-7-sun/bin/javah 300 
update-alternatives --install /usr/bin/javap javap /usr/lib/jvm/java-7-sun/bin/javap 300


执行:

update-alternatives --config java

出现以下提示:

root@docker:/usr/lib/jvm# update-alternatives --config java 
There are 2 choices for the alternative java (providing /usr/bin/java).
  Selection    Path                                            Priority   Status
------------------------------------------------------------
  0            /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java   1071      auto mode
  1            /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java   1071      manual mode
* 2            /usr/lib/jvm/java-755-sun/bin/java               300       manual mode
Press enter to keep the current choice[*], or type selection number:

根据自己的情况选择,输入相应的数字即可。


测试成功:

root@docker:/usr/lib/jvm# java -version
java version "1.7.0_55"
Java(TM) SE Runtime Environment (build 1.7.0_55-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.55-b03, mixed mode)


安装SSH:

apt-get install ssh

尝试ssh本地,如果需要密码,则要设置对本地的无密码登陆:

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys


安装rsync:

apt-get install rsync


配置Hadoop:

tar -xvf  hadoop-1.0.3.tar.gz
cd hadoop-1.0.3


编辑conf/hadoop-env.sh文件,修改这个export的内容:

# export JAVA_HOME=/usr/lib/j2sdk1.5-sun(原内容)
export JAVA_HOME=/usr/lib/jvm/java-7-sun


修改conf/core-site.xml:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>


修改conf/hdfs-site.xml:

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/work/hadoop_tmp</value>
</property>
</configuration>


修改conf/mapred-site.xml:

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>


格式化namenode:

bin/hadoop namenode –format


启动并检查运行状况:

#运行
bin/start-all.sh
#检查状态
jps
#输出     
5146 Jps
4538 TaskTracker
4312 JobTracker
4015 DataNode
4228 SecondaryNameNode
3789 NameNode

若能正确显示状态,即运行正确。


测试使用:


【1】web接口:

http://localhost:50030 

可以查看JobTracker的运行状态


http://localhost:50060 

可以查看TaskTracker的运行状态


http://localhost:50070 

可以查看NameNode以及整个分布式文件系统的状态,浏览分布式文件系统中的文件以及log等。


【2】使用附带hadoop1.0.3目录里的wordcount程序测试下:

先在本地磁盘建立两个输入文件file01 和 file02: 

echo "Hello World Bye World" > file01  
echo "Hello Hadoop Goodbye Hadoop" > file02

在hdfs 中建立一个input目录:

hadoop fs –mkdir input

将file01 和 file02 拷贝到hdfs中:  

hadoop fs –copyFromLocal file0* input

执行wordcount:  

hadoop jar hadoop-examples-1.0.3.jar wordcount input output

完成之后,查看结果:

bin/hadoop fs -ls        #查看已有的文件列表

hadoop fs -cat output/part-r-00000      #查看结果

结果为:可见把单词都统计了

Bye 1  
Goodbye 1 
Hadoop 2 
Hello 2 
World 2



参考资料:

Hadoop伪分布安装过程:Hadoop单机环境搭建指南(ubuntu)

http://www.aboutyun.com/thread-6487-1-1.html


集群安装完毕,该如何测试和使用集群-hadoop单机(伪分布) 

http://www.aboutyun.com/thread-6777-1-1.html


云技术基础:集群搭建SSH的作用及这些命令的含义

http://www.aboutyun.com/thread-6977-1-1.html


Linux系统下位(Ubuntu 11.04) 下安装配置 JDK 7安装步骤指导

http://www.aboutyun.com/thread-6750-1-1.html


© 著作权归作者所有

Hochikong
粉丝 19
博文 113
码字总数 59961
作品 1
广州
程序员
私信 提问
Hadoop手把手逐级搭建,从单机伪分布到高可用+联邦(1)单机伪分布

总体概述 1. 目标 2. 工具及版本 3. 四个阶段 第一阶段: hadoop单机伪分布(single) 0. 步骤概述 1. 配置网络修改主机名 1.1 查看VMware虚拟网络 1.2 配置虚拟机网卡ifcfg-eth0 1.3 设置NETWO...

bigablecat
2017/12/26
0
0
ubuntu12.04下hadoop单机模式和伪分布模式环境搭建

1.添加hadoop组(专门用来进行hadoop测试)到系统用户: 2.在hadoop中添加hadoop用户: 3.赋予hadoop管理员权限 ( 如果不想新建用户,只在自己现有用户下搭建,上面三步可以省去直接进入第四步...

lcj1992
2014/01/07
1K
2
hadoop单机模式和伪分布式,全分布式的区别

单机模式(standalone) 单机模式是Hadoop的默认模式。这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。当首次解压Hadoop的源码包时,Hadoop无法了解硬...

Anuge
2017/10/29
927
0
Hadoop2安装——单机模式

Hadoop有三种模式 单机模式、伪分布模式和完全分布模式 这里先简单介绍单机模式 ,默认情况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始做调试工作。 Hadoop 网址http:...

tngou
2012/12/01
11K
12
Hadoop单机模式部署

一、Hadoop部署模式 单机模式:默认情况下运行为一个单独机器上的独立Java进程,主要用于调试环境 伪分布模式:在单个机器上模拟成分布式多节点环境,每一个Hadoop守护进程都作为一个独立的J...

结束的伤感
2016/04/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

[转] Java 无界阻塞队列 DelayQueue 入门实战

原文出处:http://cmsblogs.com/ 『chenssy』 DelayQueue是一个支持延时获取元素的无界阻塞队列。里面的元素全部都是“可延期”的元素,列头的元素是最先“到期”的元素,如果队列里面没有元...

泥瓦匠BYSocket
15分钟前
4
0
zk中集群版中角色和消息类型

服务器角色 LEADER LEARNER FOLLOWING OBSERVER 消息类型 数据同步 服务器初始化 请求处理型 会话管理型 LEADER 集群工作核心,作用有: 1事务请求唯一调度和处理者,保证事务处理顺序性 2集...

writeademo
17分钟前
3
0
阿里云推送的基本使用-Swift;iOS10+

func initCloudPush(){ CloudPushSDK.asyncInit("*****", appSecret: "*******") { (result) in if result!.success{ print("deviceId===......

west_zll
28分钟前
3
0
分布式及高可用元数据采集原理

转载本文需注明出处:微信公众号EAWorld,违者必究。 引言: 元数据采集是元数据产品的核心部分,如何提升采集效率是需要仔细斟酌的事情,既要保持稳定性也要保持跟上主流技术的发展趋势。元...

EAWorld
44分钟前
4
0
为构建社交关系链手淘都做了啥?

作者|王卫(泓冰) 出品|阿里巴巴新零售淘系技术部 01、淘宝社交关系推荐的背景 1、互联网下半场到来:互联网的下半场,人口红利消失,各大平台需要对用户做精细化运营,用户的增长和留存是每一...

阿里云官方博客
45分钟前
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部