文档章节

hadoop2.5.1安装到虚拟机

暗夜孤灯
 暗夜孤灯
发布于 2014/12/01 17:26
字数 1067
阅读 478
收藏 18
点赞 0
评论 0
1.虚拟机安装
系统版本 RHEL6.3

2.虚拟机ip配置
采用 共享方式(nat) : 
默认:
使用vmnet8 将虚拟机设置成使用dhcp方式上网,windows下选择"自动获取ip",linux下开启dhcp服务即可。 
手动设置: 
ip设置与vmnet8同网段, 
网关设置成vmnet8的网关, 
DNS服务器设置与主机相同, 
实现虚拟机<--->主机虚拟机<---->互联网 通信。

vim /etc/sysconfig/network-scripts/ifcfg-eth0
......
BOOTPROTO=static
ONBOOT="yes"
IPADDR=192.168.234.100 --设置为网关同ip段
NETMASK=255.255.255.0
GATEWAY=192.168.234.2-- vmnet8的网关
......
最后不要忘了设置DNS  echo "nameserver 8.8.8.8" >> /etc/resolv.conf
重启reboot

设置好了就可以用SecureCRT查看了,并且能够ping通外网

yum源配置
查看文档  使用CentOS的yum源进行升级或软件安装 

rpm -qa |grep yum 查看yum安装情况
rpm -qa |grep yum | xargs rpm -e --nodeps 卸载rhel原有yum

安装yum软件包 
1. #rpm -ivh python-iniparse-0.3.1-2.1.el6.noarch.rpm 2. # rpm -ivh yum-metadata-parser-1.1.2-16.el6.x86_64.rpm 
3. #rpm -ivh yum-3.2.29-30.el6.centos.noarch.rpm yum-plugin-fastestmirror-1.1.3 0-14.el6.noarch.rpm 

由于centos官网6.3版的不再更新且文件不存在,所以选用的是 centos官网 6.5版本的yum相关包
同时下载163的仓库, http://mirrors.163.com/.help/CentOS6-Base-163.repo 修改$releaseser为6.5
删除/etc/yum.repos.d/rhel-source.repo
使用centos-163.repo替换

scp  centos-163.repo  root@192.168.234.112 :/etc/yum.repos.d/

安装rz+sz方便上传下载文件到本地
yum -y install lrzsz 

传输所有的依赖文件到其他服务器
scp -r dep   root@192.168.234.112 :/home/hadoop/

安装java,并配置环境变量
java -version 查看现有java版本

rpm -qa|grep java 查看java安装包
rpm -qa|grep java | xargs rpm -e --nodeps   卸载java安装包

vim /etc/profile 添加java环境变量配置
#set java path
JAVA_HOME=/usr/java/jdk1.7.0_45
JRE_HOME=/usr/java/jdk1.7.0_45/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

source /etc/profile 应用配置
其他机器使用相同配置
scp /etc/profile root@192.168.234.112:/etc/profile

配置host
192.168.234.114  namenode
192.168.234.111 datanode1
192.168.234.112 datanode2
192.168.234.113 datanode3 
其他namenode和datanode配置一样
scp /etc/hosts root@192.168.234.112:/etc/hosts


ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

scp到datanode

安装hadoop
tar -xvf dep/hadoop/hadoop-2.5.1.tar.gz

配置hadoop

/home/hadoop/hadoop-2.5.1/etc/hadoop中的slaves文件添加数据节点
datanode1
datanode2
datanode3

配置hostname
格式化namenode报错处理方法

/etc/sysconfig/network  中的hostname修改掉,并重启网络服务生效
service network restart

格式化文件系统
bin/hdfs namenode -format

http://192.168.234.114:50070/ 一定要记得关闭namenode的防火墙,否则访问不了
service iptables stop/status


但启动./start-dfs.sh一直会有个警告
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [namenode]

hadoop fs -mkdir /input命令报错

开启debug模式
export HADOOP_ROOT_LOGGER=DEBUG,console

可以看到是因为glibc版本太低的原因

有两种解决方法
1.在glibc2.12环境下重新编译hadoop
2.安装glibc2.14或以上版本

这里我采用第二种
升级glibc到2.14以上, 升级前 千万 不要卸载 glibc ,卸载后所有命令都失效了, 重启还报错
kernel panic - not attempted to kill init, 害得我只能重装系统了,又搞了半天
重装namenode之后, 从datanode传 hadoop 过去
格式化文件系统后重启,否则会找不到数据节点

1. 下载 
glibc-2.15-60.el6.x86_64.rpm 
glibc-common-2.15-60.el6.x86_64.rpm
安装
rpm -ivh glibc-2.15-60.el6.x86_64.rpm glibc-common-2.15-60.el6.x86_64.rpm --replacefiles
不加 --replacefiles会报文件冲突的错

重新运行./start-dfs.sh,不再报警了

hadoop fs -mkdir /input 创建文件夹
hadoop fs -ls / 展示文件列表

Hadoop报错:NoRouteToHostException: No route to host
关闭datanode数据节点的防火墙

测试mapreduce
创建文件夹input,创建测试文件test1,test2
mkdir input && cd input
echo "a b c d e" > test1
echo "a b c d f" > test2
hadoop fs -put input /

可以看到已经加入hdfs中

运行WordCount
cd /home/hadoop/hadoop-2.5.1/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.5.1.jar wordcount /input /output

自己打的包
hadoop jar wordct.jar org.WordCount /input /output

hadoop fs -cat /output/part-r-00000



© 著作权归作者所有

共有 人打赏支持
暗夜孤灯
粉丝 3
博文 10
码字总数 5943
作品 0
抚州
程序员
centos6.5 64位下编译hadoop2.5.1源码

需要的工具:centos6.5 -64bit jdk1.7.0.71 maven3.23 (http://mirrors.cnnic.cn/apache/maven/maven-3/3.2.3/binaries/apache-maven-3.2.3-bin.tar.gz) ant1.9 (http://mirrors.cnnic.cn......

逸风如梦
2014/11/15
0
0
hadoop的安装与配置

Hadoop版本 Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列.1.x.y大数公司已经更新Hadoop 2.x 版本,本教程均可适用. 基本环境:Centos 6.5 jdk1.7.0_67 hadoop2.5.1 一、配置jdk...

ictedu
2017/04/18
0
0
Nutch1.7结合Hadoop2.5.1的分布式爬取全攻略

Hadoop 2.5.1可执行文件及集群搭建 集群安装:http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html【安装Hadoop集群】 http://blog.csdn.net/jiuti......

强子哥哥
2014/09/22
0
0
大数据之Hadoop平台(二)Centos6.5(64bit)Hadoop2.5.1伪分布式安装记录,wordcount运行测试

注意:以下安装步骤在Centos6.5操作系统中进行,安装步骤同样适于其他操作系统,如有同学使用Ubuntu等其他Linux操作系统,只需注意个别命令略有不同。 注意一下不同用户权限的操作,比如关闭...

chaun
2015/04/14
0
0
Ubuntu 12.04 KVM之VM静态迁移-基于镜像

静态迁移:也叫做常规迁移、离线迁移(Offline Migration)。就是在虚拟机关机或暂停的情况下从一台物理机迁移到另一台物理机。因为虚拟机的文件系统建立在虚拟机镜像上面,所以在虚拟机关机...

China_OS
2012/10/11
0
0
Hyper - V (四)安装虚拟机

安装虚拟机 新建虚拟机 为新建的虚拟机起名,默认保存路径为前面设置的默认路径 指定虚拟机内存大小 指定虚拟机网卡连接到外部网络还是内部网络(或专用网络) 创建虚拟硬盘,指定硬盘存储路...

rosinrosin1
06/26
0
0
KVM安装与配置

一、KVM安装 1、安装前准备 环境准备 IP 主机名 操作系统192.168.56.11 linux-node1 centos7 禁用Selinux,禁用防火墙 接下来,开始安装 (1)首先查看是否支持虚拟化 [root@linux-node1 ~]...

GentleMan___
2016/09/12
0
0
Vmware Workstation + Suse Linux 11 SP3 + db2 purescale V10.5 (一)

本文详细记录了DB2 purescale 10.5在VMware Workstation 上的安装过程,如果大家看了本人的博文后,实践过程中有什么问题,欢迎加本人微信84077708,我将尽我所能为大家解惑。 由于DB2 pures...

jianght_2014
2017/06/13
0
0
安装VMware workstation和Windows7系统

安装VMware workstation和Windows7系统 操作安装VMware workstation虚拟机并在虚拟机中安装Windows7系统 准备软件:VMware workstation虚拟机(12.5.2)安装包 Windows7操作系统镜像文件(纯...

荣耀君莫笑
2017/05/17
0
0
如何形成苹果电脑双系统的使用

何为“双系统”呢?一般来说就是在一台电脑上安装两种操作系统,用户可以根据自己的需求进行使用。它的形成方式不止一种,但现在更多的用户会通过虚拟机来形成,这种方式使用时更加简单易懂。...

MAC应用软件
2016/08/29
7
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

【面试题】盲人坐飞机

有100位乘客乘坐飞机,其中有一位是盲人,每位乘客都按自己的座位号就坐。由于盲人看不见自己的座位号,所以他可能会坐错位置,而自己的座位被占的乘客会随便找个座位就坐。问所有乘客都坐对...

garkey
今天
0
0
谈谈神秘的ES6——(二)ES6的变量

谈谈神秘的ES6——(二)ES6的变量 我们在《零基础入门JavaScript》的时候就说过,在ES5里,变量是有弊端的,我们先来回顾一下。 首先,在ES5中,我们所有的变量都是通过关键字var来定义的。...

JandenMa
今天
1
0
arts-week1

Algorithm 594. Longest Harmonious Subsequence - LeetCode 274. H-Index - LeetCode 219. Contains Duplicate II - LeetCode 217. Contains Duplicate - LeetCode 438. Find All Anagrams ......

yysue
今天
0
0
NNS拍卖合约

前言 关于NNS的介绍,这里就不多做描述,相关的信息可以查看NNS的白皮书http://doc.neons.name/zh_CN/latest/nns_background.html。 首先nns中使用的竞价货币是sgas,关于sgas介绍可以戳htt...

红烧飞鱼
今天
1
0
Java IO类库之管道流PipeInputStream与PipeOutputStream

一、java管道流介绍 在java多线程通信中管道通信是一种重要的通信方式,在java中我们通过配套使用管道输出流PipedOutputStream和管道输入流PipedInputStream完成线程间通信。多线程管道通信的...

老韭菜
今天
0
0
用Python绘制红楼梦词云图,竟然发现了这个!

Python在数据分析中越来越受欢迎,已经达到了统计学家对R的喜爱程度,Python的拥护者们当然不会落后于R,开发了一个个好玩的数据分析工具,下面我们来看看如何使用Python,来读红楼梦,绘制小...

猫咪编程
今天
1
0
Java中 发出请求获取别人的数据(阿里云 查询IP归属地)

1.效果 调用阿里云的接口 去定位IP地址 2. 代码 /** * 1. Java中远程调用方法 * http://localhost:8080/mavenssm20180519/invokingUrl.action * @Title: invokingUrl * @Description: * @ret......

Lucky_Me
今天
1
0
protobuf学习笔记

相关文档 Protocol buffers(protobuf)入门简介及性能分析 Protobuf学习 - 入门

OSC_fly
昨天
0
0
Mybaties入门介绍

Mybaties和Hibernate是我们在Java开发中应用的比较多的两个ORM框架。当然,目前Mybaties正在慢慢取代Hibernate,这是因为相比较Hibernate而言Mybaties性能更好,响应更快,更加灵活。我们在开...

王子城
昨天
2
0
编程学习笔记之python深入之装饰器案例及说明文档[图]

编程学习笔记之python深入之装饰器案例及说明文档[图] 装饰器即在不对一个函数体进行任何修改,以及不改变整体的原本意思的情况下,增加函数功能的新函数,因为这个新函数对旧函数进行了装饰...

原创小博客
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部