文档章节

hadoop-hdfs文件系统的安装与部署

胡子叭槎
 胡子叭槎
发布于 2017/05/19 00:08
字数 955
阅读 79
收藏 0

   根据HDFS文件系统的架构原理,集群中是主从关系。一个主节点master 存储所有节点的命名空间,其他的从节点保存数据结点,详细的架构原理这里都不多介绍了,主要介绍一下HDFS文件系统的实际安装部署。

  1. 准备结点服务器
    能很好的演示HDFS的部署,这里准备了三台服务器如下:
    192.168.0.113 做master
    192.168.0.115 做salve1
    192.168.0.114 做salve2
    对这三台主机的IP地址都要在/etc/hosts中做解析:
    [root@namenode bin]# cat /etc/hosts
    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    172.18.0.172 namenode
    172.18.0.173 datanode1
    172.18.0.174 datanode2
    192.168.0.113 namenode
    192.168.0.115 datanode1
    192.168.0.114 datanode2
    
    [root@datanode2 ~]# cat /etc/hosts
    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    172.18.0.172 namenode
    172.18.0.173 datanode1
    172.18.0.174 datanode2
    192.168.0.113 namenode
    192.168.0.115 datanode1
    192.168.0.114 datanode2
    
    [root@datanode1 ~]# cat /etc/hosts
    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    172.18.0.172 namenode
    172.18.0.173 datanode1
    172.18.0.174 datanode2
    192.168.0.113 namenode
    192.168.0.115 datanode1
    192.168.0.114 datanode2
    

    同时还需要在每一个结点上安装好JDK,版本最好是最新的
    [root@namenode bin]# yum install java-1.8.0-openjdk.x86_64 -y 

    安装完成之后检查一下java

    [root@namenode bin]# which java
    /usr/bin/java
    # jdk安装成功
    设置主结点到其他从结点的免密码登陆
    [root@namenode soft]# ssh-keygen
    # 直接敲上面命令生成公钥和私钥,然后把公钥发送到其他从服务器结点上
    [root@namenode soft]# ll ~/.ssh/
    total 12
    -rw-------. 1 root root 1679 May 18 18:31 id_rsa
    -rw-r--r--. 1 root root  395 May 18 18:31 id_rsa.pub
    -rw-r--r--. 1 root root 1598 May 18 23:19 known_hosts
    # 这里生成的id_rsa及时私钥,id_rsa.pub就是公钥
    [root@namenode soft]# ssh-copy-id ~/.ssh/id_rsa.pub datanode1
    # 将公钥拷贝到数据结点1
    [root@namenode soft]# ssh-copy-id ~/.ssh/id_rsa.pub datanode2
    # 将公钥拷贝到数据结点1
    
    [root@namenode soft]# ssh datanode1
    Last login: Thu May 18 23:19:39 2017 from namenode
    [root@datanode1 ~]# 
    # 然后登陆就可以免密码了。

    1. 准备软件hadoop-1.2.1.tar.gz
      下载好软件解压到/root目录下,并配置
      [root@datanode1 ~]# ll
      total 40
      -rw-------.  1 root root  1286 May 18 15:05 anaconda-ks.cfg
      drwxr-xr-x. 16 root root  4096 May 18 19:47 hadoop-1.2.1
      -rw-r--r--.  1 root root 19248 May 18 15:05 install.log
      -rw-r--r--.  1 root root  4178 May 18 15:02 install.log.syslog
      # 解压好生成了hadoop-1.2.1目录
      进入hadoop-1.2.1 后配置文件./conf/core-site.xml
      [root@datanode1 hadoop-1.2.1]# cat ./conf/core-site.xml 
      <?xml version="1.0"?>
      <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
      
      <!-- Put site-specific property overrides in this file. -->
      
      <configuration>
           <property>
             <name>fs.default.name</name> # namenode节点名
            <value>hdfs://namenode:9000</value> #namenode域名(或IP)和端口
           </property>
           <property>
            <name>hadoop.tmp.dir</name> #文件储存目录
             <value>/data/htfs</value> #fs的放置位置
           </property>
      </configuration>
      
      再配置文件./conf/hdfs-site.xml
      [root@datanode1 hadoop-1.2.1]# cat ./conf/hdfs-site.xml 
      <?xml version="1.0"?>
      <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
      
      <!-- Put site-specific property overrides in this file. -->
      
      <configuration>
          <name>dfs.replication</name> #block的副本数,不能超过datanode的数目
          <value>2</value>             # 这里有多少个数据结点就配几
      </configuration>
      

      再配置文件./conf/slaves
      [root@datanode1 hadoop-1.2.1]# cat ./conf/slaves 
      datanode1
      datanode2
      # 把所有的数据结点都写上
      再配置文件./conf/masers
      [root@datanode1 hadoop-1.2.1]# cat ./conf/masters 
      datanode1
      # 写上主结点,也就是命名空间结点
      最后配置好环境变量./conf/hadoop-env.sh
      [root@datanode1 hadoop-1.2.1]# cat ./conf/hadoop-env.sh |grep JAVA_HOME
      # The only required environment variable is JAVA_HOME.  All others are
      # set JAVA_HOME in this file, so that it is correctly defined on
      # export JAVA_HOME=/usr/lib/j2sdk1.5-sun
      export JAVA_HOME=/usr
      
      注意:所有的结点上都这么配
    2. 格式化,启动并测试
      格式化:
      /root/hadoop-1.2.1/bin/hadoop namenode -format #进行格式化,创建dfs
      /root/hadoop-1.2.1/bin/start-dfs.sh #启动dfs服务
      然后可以在各个结点上检查java进程
      通过浏览器访问:

       

© 著作权归作者所有

上一篇: spark集群搭建
胡子叭槎
粉丝 22
博文 143
码字总数 148097
作品 0
成都
数据库管理员
私信 提问
Hadoop-2.7.4 集群快速搭建

摘要:Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high thro...

souyunku
2018/01/07
0
0
Hadoop+Hbase+Zookeeper集群配置

系统版本: CentOS 7.3 最小化安装 软件版本: Hadoop 2.8.0 Hbase 1.3.1 Zookeeper 3.4.9 集群规划: 一、服务器初始配置 (所有服务器执行) 1、按集群规划修改主机名及IP地址。 2、关闭防火...

月夜星魂
2017/07/12
0
0
Hadoop集群部署实战(cdh发行版)

一、概要 由于工作需要,最近一段时间开始接触学习hadoop相关的东西,目前公司的实时任务和离线任务都跑在一个hadoop集群,离线任务的特点就是每天定时跑,任务跑完了资源就空闲了,为了合理...

navyaijm2012
2017/05/11
0
0
54.HDFS分布式文件系统

HDFS分布式文件系统 HDFS系统借助于一款hadoop工具进行部署,文件系统的主要优势是主要是提高客户端的读取效率,假如一块1TB的磁盘数据需要读取,读取速度为100MB/S,如果将1块磁盘中的数据分...

触动的风
2017/07/10
0
0
Hadoop之YARN的安装与测试

在之前几篇文章中介绍了Hadoop生态圈中的HDFS基础,HDFS集群搭建,JAVA的基本API等操作,此文介绍一下,分布式调度系统的重要组成部分Yarn的安装与使用。 1.配置计算调度系统Yarn和计算引擎M...

landy8530
2017/11/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

最简单的获取相机拍照的图片

  import android.content.Intent;import android.graphics.Bitmap;import android.os.Bundle;import android.os.Environment;import android.provider.MediaStore;import andr......

MrLins
今天
4
0
说好不哭!数据可视化深度干货,前端开发下一个涨薪点在这里~

随着互联网在各行各业的影响不断深入,数据规模越来越大,各企业也越来越重视数据的价值。作为一家专业的数据智能公司,个推从消息推送服务起家,经过多年的持续耕耘,积累沉淀了海量数据,在...

个推
今天
8
0
第三方支付-返回与回调注意事项

不管是支付宝,微信,还是其它第三方支付,第四方支付,支付机构服务商只要涉及到钱的交易都要进行如下校验,全部成功了才视为成功订单 1.http请求是否成功 2.校验商户号 3.校验订单号及状态...

Shingfi
今天
4
0
简述Java内存分配和回收策略以及Minor GC 和 Major GC(Full GC)

内存分配: 1. 栈区:栈可分为Java虚拟机和本地方法栈 2. 堆区:堆被所有线程共享,在虚拟机启动时创建,是唯一的目的是存放对象实例,是gc的主要区域。通常可分为两个区块年轻代和年老代。更...

DustinChan
今天
6
0
Excel插入批注:可在批注插入文字、形状、图片

1.批注一直显示:审阅选项卡-------->勾选显示批注选项: 2.插入批注快捷键:Shift+F2 组合键 3.在批注中插入图片:鼠标右键点击批注框的小圆点【重点不可以在批注文本框内点击】----->调出批...

东方墨天
今天
6
1

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部