文档章节

linux Hadoop 探索-hadoop单机模式

charles_shang
 charles_shang
发布于 2016/03/01 22:46
字数 962
阅读 120
收藏 0

运行环境

ubuntu版本------ubuntukylin-14.04.2 64位版本

Hadoop版本------Hadoop2.6.4-release

虚拟机版本-------VMware Workstation Pro 12.0

Jvm版本---------Jdk1.7以上

安装步骤

1.安装ubuntu

虚拟机安装ubuntu时安装完一个虚拟机后可选择clone直接复制出来相同的克隆版本省去安装时间

安装ubuntu并建立hadoop用户,为后续集群ssh通道做预备,不建议使用root用户进行一系列操作,具体原因百度,root远程可对系统资源进行任意修改,切记,具体shell脚本如下

groupadd hadoop
useradd -mg hadoop hadoop
#-m指的是在/home/目录下新建一个与用户名相同的文件夹
#-g指的是添加用户组
passwd hadoop
#回车后将密码设置成123456 ps:密码限于开发调试,生产环境切勿大意,设立复杂度高密码保障安全

 

1.安装jvm

下载Java对应版本的tar.gz包如下图所示

 

Pscentos下 下载rpm包可直接使用RPM命令进行安装,ubuntu下建议使用gz包进行安装,笔者尝试安装rpm插件进行rpm安装,把系统搞残了 有经验的大神欢迎留言指导,谢过了

/usr/lib目录下新建jvm目录,将gz包解压到/usr/lib/jvm目录下,并将java-***包重命名为java 重命名命令

Mv java-***** java

打开环境变量预执行文件 gedit /etc/profile

添加这几行环境变量

export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

输入命令后重启系统或者直接执行source /etc/profile 执行预加载脚本变量

 

 

输入命令java -version 打印出现如上图所示版本信息,代表jdk安装成功

2.调试hadoop单机运行

进入hadoop脚本环境配置文件

 

gedit /opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh

 

 

JAVA_HOME修改为绝对路径.

Ps:至于为什么默认配置的${JAVA_HOME}不起作用,笔者暂时未找到原因欢迎大神们进行补充

 

#配置hadoop ssh 无密码登录 --需求背景,由于hadoop集群动辙几十上百台机器进行集群计算

假如进行密钥输入认证会增加许多运维的工作量,所以社区内普遍进行公有密钥进行交换比对登录

进入hadoop用户home目录 /home/hadoop/ 找到 .ssh 目录没有则新建,注意将文件夹所有权修改为hadoop用户所有

安装ssh服务

sudo apt-get install openssh-server
sudo apt-get install openssh-client

尝试输入命令ssh localhost 出现输入密码界面则代表ssh服务端与客户端安装成功

 

配置免密码登录

进入hadoop用户home目录下

cd /home/hadoop

能看见.sshwe文件夹,进入.ssh文件夹

执行一下命令生成ssh免登录的公钥和私钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

这个命令会在.ssh文件夹下创建id_dsaid_dsa.pub两个文件,这是SSH的一对私钥和公钥

现在把id_dsa.pub追加到公钥中去,执行以下命令

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

现在切换到hadoop用户登录,在尝试用ssh进行远程连接

ssh localhost是不是得到以下画面

 

 

代表免登录配置成功

 

进入hadoop目录/opt/hadoop/hadoop/

执行./sbin/start-all.sh 脚本启动hadoop

由于是单机运行hadoopnameNode 和 Jobtracker都没有启动如何查看hadoop是否启动呢?

查看HDFS文件系统

./bin/hadoop fs -ls /

 

出现以上信息,恭喜,代表你单机安装hadoop成功。Hdfs文件结构就是如linux一样

 

下一章推出hadoop伪单机集群模式,敬请期待,各位看官有哪不懂或者有疑问,欢迎留言

© 著作权归作者所有

charles_shang
粉丝 0
博文 3
码字总数 3697
作品 0
深圳
私信 提问
加载中

评论(0)

Apache Hadoop 入门教程第二章

Apache Hadoop 单节点上的安装配置 下面将演示快速完成在单节点上的 Hadoop 安装与配置,以便你对 Hadoop HDFS 和 MapReduce 框架有所体会。 先决条件 支持平台: GNU/Linux:已经证实了 Ha...

哈斗篷
2018/05/10
0
0
Hadoop学习01_Single Node Setup

目的 本文的目的主要是为了说明如何单点配置hadoop,从而能使用单个节点进行Hadoop MapReduce 和Hadoop Distributed File System (HDFS)运算。 先决条件 平台支持 GNU/Linux 作为开发和生产环...

烽焱10仴
2012/10/20
286
0
好程序员大数据笔记之:Hadoop集群搭建

在学习大数据的过程中,我们接触了很多关于Hadoop的理论和操作性的知识点,尤其在近期学习的Hadoop集群的搭建问题上,小细节,小难点拼频频出现,所以,今天集中总结以下笔记,希望对各位同学...

好程序员IT
2019/05/21
17
0
ubuntu16.04 +Java8+ hadoop2.x单机安装

关于hadoop及相关模块的安装,自己下载模块安装的话较为麻烦,有配置、版本对应的些许问题,使用cloudera集成好的平台也不错,但如果跑的任务多的话,机器配置要好一点,模糊的记得是最低需要...

HeCCXX
03/31
0
0
Linux Ubuntu 18.04实战安装大数据Hadoop 3.1.2版本 单节点模式

Linux Ubuntu 18.04实战安装大数据Hadoop 3.1.2版本。这里分别选择最新的Ubuntu系统 18.04,以及最新的Hadoop版本3.1.2 Hadoop是开源免费的大数据方案,官方网站https://hadoop.apache.org/,...

徐雷frank
2019/03/30
0
0

没有更多内容

加载失败,请刷新页面

加载更多

报表设计器比较

vue-smart-widget vue-data-board vue-databoard-java java后台 Datav web_designer

daoos
19分钟前
23
0
分布式协调服务——Zookeeper

Zookeeper常用的应用场景 分布式协调:简单来说就是有人对Zookeeper中的数据做了监听,如果修改了Zookeeper中被监听的数据,Zookeeper反过来就会告诉发起监听的人数据变更。比如在kafka的设计...

长臂猿猴
20分钟前
23
0
rocketmq 顺序消费,消息事物

RocketMQ详解(7)——顺序消费 分布式事务-RocketMQ消息事务设计思路及Demo RabbitMQ、RocketMQ、ActiveMQ 、Kafka 四个分布式消息队列的区别 深入理解RocketMQ的消费者组、队列、Broker,Top...

miaojiangmin
22分钟前
14
0
linux下安装nginx

服务器版本:CentOS7 cd / 回到根目录 1、安装gcc yum install gcc-c++ 2、安装pcre pcre-devel yum install -y pcre pcre-devel 3、安装zlib yum install -y zlib zlib-devel 4、安装Open ......

嘿嘿嘿IT
24分钟前
32
0
在Chrome中禁用同一来源政策 - Disable same origin policy in Chrome

问题: 有什么方法可以在Google的Chrome浏览器上禁用同源策略 ? 解决方案: 参考一: https://stackoom.com/question/D1BT/在Chrome中禁用同一来源政策 参考二: https://oldbug.net/q/D1B...

javail
24分钟前
22
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部