文档章节

hadoop的伪分布安装步骤

Kingrain_J
 Kingrain_J
发布于 2014/05/19 17:11
字数 983
阅读 35
收藏 0

 hadoop的伪分布安装步骤

(使用root用户登录)


一、设置静态的ip

1.右击右上方的联网标志,点击【编辑】选项,选中System eth0 再点【编辑】,

2.进入后选中上方的自动连接(A)。

3.再进行编辑IPv4设置 

方法(M):手动

添加地址:地址(设置本Linux系统的ip,注意ip的范围,可以通过 ifconfig命令查询)、子网掩码(255.255.255.0)、网关(在Windows 命令行下可以通过ipconfig命令查询)


二、ssh(secure shell )的免密法登录

1、vi /etc/sysconfig/network   更改主机名彻底

验证:host name 

2、把主机名与ip 绑定 vi / etc/ hosts  在其内增加一行内容填写ip空格与 主机名 例如:在其中加入本机ip hadoop

验证:ping hadoop

3、关闭防火墙的自动运行 执行命令:chkconfig iptables off 

验证:chkconfig --list  |  grep iptables 

4、产生密钥:ssh-keygen -t rsa 位于 ~/.ssh文件夹中

一直按回车

进入.ssh/ 中查看里面的文件,使用more 命令的详细信息就是公钥加密的内容

执行命令cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys     验证:ssh localhost


三、安装jdk

1、执行命令rm -rf /usr/local/*删除所有内容

2、使用winscp把jdk-6u45-linux-x64.bin 文件(上传)复制到/usr/local目录下

3、执行命令chmod u+x jdk-6u45-linux-x64.bin 赋予执行命令

4、执行命令 ./jdk-6u45-linux-x64.bin 解压缩

5、执行命令 mv jdk1.6.0_45  jdk 更改名字为jdk

6、设置环境变量

执行命令 vi /etc/profile 增加了两行内容

    export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

保存退出

7、执行命令 source /etc/profile  让该设置立即生效

验证:java -version


四、安装Hadoop

1、使用winscp把hadoop-1.1.2.tar.gz 文件(上传)复制到/usr/local目录下

2、执行命令tar -zxvf tar-l.1.2.tar.gz进行解压缩(在/usr/local目录下)

3、执行命令mv hadoop-1.1.2 hadoop 重命名

4、设置环境变量

执行命令 vi /etc/profile 增加了一行内容

export HADOOP_HOME=/usr/local/hadoop

修改了一行

export PATH=.:$PATH:$HADOOP_HOME/bin:$AVA_HOME/bin

保存退出

5、执行命令 source /etc/profile 使得该设置立即生效

6、修改hadoop的配置文件(位于$HADOOP_HOME/conf目录下)

修改4个配置文件

提示:使用工具WinSCP 进行修改比较简单,在目录中找到相应的文件执行编辑命令。

注意:复制下面的命令时需要删去中文描述字符。否则命令出错。

(1)hadoop-env.sh  (/usr/local/hadoop/conf/hadoop-env.sh)

修改第九行

export JAVA_HOME=/usr/local/jdk

 

 (2)core-site.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

<description>hadoop的运行临时文件的主目录</description>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop:9000</value>

<description>HDFS的访问路径</description>

</property>

</configuration>

(3)hdfs-site.xml

<configuration>

    <property>

<name>dfs.replication</name>

<value>1</value>

<description>存储副本数</description>

</property>

</configuration>

 

(4)mapred-site.xml

<configuration>

    <property>

<name>mapred.job.tracker</name>

<value>hadoop:9001</value>

<description>JobTracker的访问路径</description>

</property>

</configuration>

7、对hadoop进行格式化  

执行命令  hadoop namenode -format(在/usr/local/hadoop/conf目录下)

8、启动hadoop

执行命令 start-all.sh  进行启动

验证:(1)执行命令jps ,发现5个java进程

      分别是 NameNode 、DataNode、SecondaryNameNode、JobTracker、TaskTracker。

       (2)通过浏览器:http://hadoop:50070  与 http://hadoop:50030


五、NameNode进程没有启动的原因:

(1)没有格式化

(2)配置文件只是copy,不修改

(3)hostname 与 ip没有绑定

(4)SSH的免密码登录没有配置成功

    (5)多次格式化hadoop也不可以:

如果多次格式化了就要删除/usr/local/hadoop/tmp文件夹,重新格式化


六、取消Warning: $HADOOP_HOME is deprecated. hadoop的解决办法

1、在/usr/local/hadoop/bin 目录下执行 stop-all.sh命令停止hadoop

2、修改配置文件:vi /etc/profile  在里面添加:           

HADOOP_HOME_WARN_SUPPRESS=1

保存退出

3、执行命令 source /etc/profile 使得该设置立即生效

© 著作权归作者所有

Kingrain_J
粉丝 0
博文 1
码字总数 983
作品 0
张家口
私信 提问
Hadoop手把手逐级搭建,从单机伪分布到高可用+联邦(1)单机伪分布

总体概述 1. 目标 2. 工具及版本 3. 四个阶段 第一阶段: hadoop单机伪分布(single) 0. 步骤概述 1. 配置网络修改主机名 1.1 查看VMware虚拟网络 1.2 配置虚拟机网卡ifcfg-eth0 1.3 设置NETWO...

bigablecat
2017/12/26
0
0
(5)HBase 1.2.6伪分布安装

1.引言 是一个分布式的、面向列的开源数据库,是建立领域的数据库。不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。在本篇博客中主要介绍如何安装的伪分布,博主的环境为...

LoveCarpenter
2017/12/11
0
0
Hadoop伪分布安装详解+MapReduce运行原理+基于MapReduce的KNN算法实现

本篇博客将围绕Hadoop伪分布安装+MapReduce运行原理+基于MapReduce的KNN算法实现这三个方面进行叙述。 (一)Hadoop伪分布安装 1、简述Hadoop的安装模式中–伪分布模式与集群模式的区别与联系...

a2011480169
2016/06/15
0
0
Spark1.0.0伪分布安装指南

一、下载须知 软件准备: spark-1.0.0-bin-hadoop1.tgz 下载地址:spark1.0.0 scala-2.10.4.tgz 下载下载:Scala 2.10.4 hadoop-1.2.1-bin.tar.gz 下载地址:hadoop-1.2.1-bin.tar.gz jdk......

片刻
2014/07/21
750
4
Spark1.0.0伪分布安装指南

一、下载须知 软件准备: spark-1.0.0-bin-hadoop1.tgz 下载地址:spark1.0.0 scala-2.10.4.tgz 下载下载:Scala 2.10.4 hadoop-1.2.1-bin.tar.gz 下载地址:hadoop-1.2.1-bin.tar.gz jdk......

开拓者-2017
2014/07/21
1K
6

没有更多内容

加载失败,请刷新页面

加载更多

MainThreadSupport

MainThreadSupport EventBus 3.0 中的代码片段. org.greenrobot.eventbus.MainThreadSupport 定义一个接口,并给出默认实现类. 调用者可以在EventBus的构建者中替换该实现. public interface ...

马湖村第九后羿
26分钟前
2
0
指定要使用的形状来代替文字的显示

控制手机键盘弹出的功能只能在ios上实现,安卓是实现不了的,所以安卓只能使用type类型来控制键盘类型,例如你要弹出数字键盘就使用type="number",如果要弹出电话键盘就使用type="tel",但这...

前端老手
36分钟前
3
0
总结:Raft协议

一、Raft协议是什么? 分布式一致性算法。即解决分布式系统中各个副本数据一致性问题。 二、Raft的日志广播过程 发送日志到所有Followers(Raft中将非Leader节点称为Follower)。 Followers收...

浮躁的码农
44分钟前
3
0
Flask-admin Model View字段介绍

Model View字段介绍 can_create = True 是否可以创建can_edit = True 是否可以编辑can_delete = True 是否可以删除list_template = 'admin/model/list.html' 修改显......

dillonxiao
今天
5
0
从AnnotationTransactionAspect开始rushSpring事务

0. Spring 事务 with LTW 0.1. Spring 事务 With LTW的原因: Pure Proxy-base mode有缺陷,其失效原因分析及使用方法及运行机制(LoadTimeWeaverBeanDefinitionParser和 AspectJWeavingEnable......

Aruforce
今天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部