文档章节

Hadoop2.4.1伪分布式配置详解

忙碌的键盘
 忙碌的键盘
发布于 2014/12/09 19:36
字数 1051
阅读 66
收藏 0

实验环境:

    VMware Workstation 10.0   

    CentOS 6.5    

    Hadoop 2.4.1 

    Jdk1.7.0

一. Linux系统环境准备    

   用WindSCP等软件,把JDK和Hadoop的安装包上传到CentOS虚拟机中。

   用户设置

     如果用普通用户进行以下操作,先把普通用户添加到/etc/sudoers文件中,以便能执行sudo命令。

切换到root
$su -
添加普通用户到sudoers
#vim /etc/sudoers
在文件的99行添加 hadoop ALL=(ALL) ALL
添加普通用户hadoop

     配置IP

    虚拟机使用NAT模式。

用图形界面或直接修改/etc/sysconfig/network-scripts/ifcfg-eth0文件
IP:192.168.18.101
MASK:255.255.255.0
ROUTE:192.168.18.1

     修改主机名

    非必须步骤,为了以后的方便,还是配置的好。

修改主机名为hadoop001,重启生效
[root@localhost ~]# vim /etc/sysconfig/network
   NETWORKING=yes
   HOSTNAME=hadoop001
查看主机名
[root@localhost ~]# hostname

      配置主机名和IP的映射

为了测试方便,也可以再配置宿主机windows的映射 C:\Windows\System32\drivers\etc\hosts
[root@localhost ~]# vim /etc/hosts
添加: 192.168.18.101 hadoop001

     关闭防火墙

        不关闭防火墙,其他主机不能访问http等服务。当然,如果你会,自己配置防火墙更好。

关闭防火墙
[root@localhost ~]# service iptables stop
查看防火墙状态
[root@localhost ~]# service iptables status
iptables: Firewall is not running.
设置开机不启动防火墙
[root@localhost ~]# chkconfig iptables off

    配置完成,重启CentOS

#reboot

二. 安装JDK和Hadoop

解压JDK和Hadoop的安装包*.tar.gz.

配置环境变量

重新编译环境变量配置文件
#source /etc/profile
测试命令
$java -version
$hadoop

三.Hadoop配置

1. etc/hadoop/hadoop-env.sh 

修改 HADOOP_HOME/etc/hadoop/hadoop-env.sh 

把27行,${JAVA_HOME}换成jdk的绝对路径。

可能是hadoop的shell脚本问题,这里经常获取JAVA_HOME失败,所以替换成jdk的绝对路径。

2. etc/hadoop/core-site.xml

<configuration>
     <property>
         <name>fs.defaultFS</name>
         <value>hdfs://hadoop001:9000</value>
         <discription> 
            hdfs://hostname|IP:port
             文件系统的名字,默认端口号为8020(见NameNode源码),
        </discription>
     </property>
    <property>
          <name>hadoop.tmp.dir</name>
          <value>/home/hadoop/apps/hadoop-2.4.1/tmp</value>
          <discription>
               指定name table(fsimage)在本地系统的存放位置,
               如果value是以逗号分隔的多个目录,则会在每个目录中保存一份,作为冗余备份。
               注意:如果最前面不加/ 就是相对HADOOP_HOME的路径
          </discription>
     </property>
</configuration>

3. etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
        <description>
            block副本的数量(副本因子)
            在搭建伪分布式时,值为1就行,覆盖hdfs-default.xml中配置的默认值3。
         </description>
    </property>
<configuration>

4. etc/hadoop/mapred-site.xml

 修改mapred-site.xml.template文件名为mapred-site.xml

<configuration>
     <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>
     <description>
        指定MapReduce运行在Yarn上
     </description>
</configuration>

5. etc/hadoop/yarn-site.xml

</configuration>
    <!-- 指定YARN的老大(ResourceManager)的地址 -->
    <property>
    	<name>yarn.resourcemanager.hostname</name>
    	<value>hadoop001</value>
    </property>
    	<!-- reducer获取数据的方式 -->
    <property>
    	<name>yarn.nodemanager.aux-services</name>
    	<value>mapreduce_shuffle</value>
    </property>
</configuration>

四. 启动Hadoop

SSH免密码登录

设置无密码登录NameNode等节点。因为我们是伪分布式实验环境,所以启动或关闭HDFS和Yarn时每次输入密码不方便。

测试一下,是否可以通过SSH免密码的登录

  $ ssh localhost

If you cannot ssh to localhost without a passphrase, execute the following commands:

  $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
  $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  #然后再用ssh localhost测试一下,如果不行,就改一下秘钥的权限。
  #chmod 600 .ssh/*

格式化HDFS

    为什么需要格式化?

    和使用新买的硬盘时,也需要格式一下一个道理,根据选择的文件系统类型对磁盘进行配置。

    windows下选择NTFS文件系统,这个是HDFS文件系统,只不过HDFS的是一个逻辑磁盘

hfds namenode -format  
或hadoop namenode -form  这是hadoop1.x中的命令,已经过时。

格式化成功后,Hadoop会在core-site.xml文件中配置的hadoop.tmp.dir目录下自动创建dfs/name目录。

格式化信息:

查看初始状态下dfs/name下只有fsimage文件。

    启动Hadoop服务

hadoop 1.x通过start-all.sh启动hdfs和MapReduce
$ bin/start-all.sh
hadoop2.x
启动hdfs服务
$start-dfs.sh
启动yarn
$start-yarn.sh

    验证成功启动

  1) 用JPS查看java进程

2)Browse the web interface for the NameNode and theMapReduce

    NameNode Web UI- http://localhost:50070/

    MapReduce Web UI - http://localhost:8088/




© 著作权归作者所有

共有 人打赏支持
忙碌的键盘
粉丝 23
博文 26
码字总数 28490
作品 0
朝阳
程序员
私信 提问
Centos下hadoop2.4.1伪分布式搭建

1.环境准备 系统:Centos7 JDK:1.7 hadoop:2.4.1 IP:192.168.31.84 2.安装hadoop2.4.1 下载hadoop2.4.1安装包hadoop-2.4.1.tar.gz,上传到虚拟机,修改$HADOOP_HOME/etc/hadoop下5个配置文...

wang704987562
2017/06/13
0
0
Spark集群搭建——Hadoop2.4.1集群搭建

安装Java 参见Hadoop 1.2.1 伪分布式模式安装中Java安装部分 配置SSH免密码验证 我们还是以spark-master, ubuntu-worker, spark-worker1三台机器为例。 参见博客Spark集群搭建——SSH免密码验...

Jackson_Mu
2015/03/16
0
4
2018-07-07期 Hadoop本地运行模式配置 【本人整合多方资料并亲自反复验证通过分享】

详细来源:05-Hadoop本地运行模式配置 在Windows开发环境中实现Hadoop的本地运行模式,详细步骤如下: 1、在本地安装好jdk、hadoop2.4.1,并配置好环境变量:JAVAHOME、HADOOPHOME、Path路径...

JackmaSong
07/07
0
0
Spark1.2.1集群环境搭建——Standalone模式

机器准备 笔者有三台机器,左侧栏为ip,右侧为hostname,三台机器都有一个名为spark的用户。 192.168.248.150 spark-master192.168.248.153 ubuntu-worker192.168.248.155 spark-worker1 根据...

Jackson_Mu
2015/03/16
0
13
Hadoop相关文章索引(3)

环境部署 hadoop-2.7.0.tar.gz hadoop 2.6.0单节点-伪分布式模式安装 hadoop2.x配置jobHistory server(转) Hadoop2.7.2集群搭建详解(三台) 基本常识 Hadoop1.x和2.X的HDFS fsimage和edi...

司小幽
08/22
0
0

没有更多内容

加载失败,请刷新页面

加载更多

学习LinkedBlockingDeque源码

之前已经看了实现deque接口的ArrayDeque, ConcurrentLinkedDeque, LinkedList,也不能落下ConcurrentLinkedDeque,但是好像没在项目中用过。 这里看到实现的接口还有BlockingDeque<E>, Block...

woshixin
16分钟前
1
0
实战:用Python实现随机森林

摘要: 随机森林如何实现?为什么要用随机森林?看这篇足够了! 因为有Scikit-Learn这样的库,现在用Python实现任何机器学习算法都非常容易。实际上,我们现在不需要任何潜在的知识来了解模型...

阿里云官方博客
20分钟前
1
0
进程管理利器Supervisor--centos7下安装与卸载

目录 概述 环境准备 检查python环境 在线安装 配置Supervisor 启动并验证 概述 Supervisor的安装可以有在线安装和离线安装两种方式。安装方式取决于服务器是否联网,联网的话可采用在线安装,...

java_龙
26分钟前
4
0
spring系列汇总

spring spring-基于可扩展Schema的特性自定义标签 springmvc-同一个访问资源,多种视图解析方式 spring cache 配置使用aspectj模式织入 基于注解的spring缓存,轻松无侵入解决cache问题 spri...

细肉云吞
27分钟前
2
0
vsftpd搭建ftp

12月10日任务 14.4 exportfs命令 14.5 NFS客户端问题 15.1 FTP介绍 15.2/15.3 使用vsftpd搭建ftp exportfs命令 在nfs运行后的一段时间内,如果需要添加共享目录,这时需要修改exports文件,并...

robertt15
29分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部