文档章节

Hadoop架构分析

d
 double大宝
发布于 2017/04/12 21:24
字数 390
阅读 10
收藏 0

官网介绍:

http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html

机架、交换机、节点

  • Hadoop分布式文件系统
  • 按需定制MapReduce
  • 目标在于多次的文件流读取
  • 写入成本很高
  • 高度数据冗余(副本,默认3)
  • 每个节点不需要RAID-独立磁盘冗余阵列,redundant array of independent disks
  • Blocksize较大(128m)
  • 定制节点的位置感知

hdfs.replication:副本的个数,默认为3

RAID-独立磁盘冗余阵列,redundant array of independent disks
    RAID-0:两块硬盘,每个硬盘存放数据的一部分,安全性不高,当某块硬盘坏时导致数据不可用。
    RAID-1:两块硬盘,B硬盘是A硬盘的实时镜像,安全性高,但冗余也大。
    RAID-5:三块硬盘,兼具 0 和 1 的特点,两块硬盘打散存储数据,另一块硬盘用于校验。
    RAID-10:四块硬盘,两块用于RAID-0,两块用于RAID-1。

NameNode
      1.存储文件元数据,比如目录结构
      2.运行NameNode的服务器至关重要,只有1个,可考虑用RAID存储
      3.只对元数据的增删做日志记录,不对block和文件流做记录。
      4.DataNode故障时,负责创建更多的副本block

  

Blocksize,节点块的大小,1.X版本64M,2.X版本128M

DataNode
      1.存储真实数据
      2.可运行在多种文件系统上(ext3/4,NTFS …)
      3.通知NameNode自己有哪些block
      4.NameNode在同一机架创建放置一个副本,另一机架放置2个副本

© 著作权归作者所有

d
粉丝 2
博文 86
码字总数 43479
作品 0
贵港
私信 提问
“NoHadoop”?——新一代海量数据架构分析

在经历了长达25年的统治地位后,关系型数据库正面临越来越火的“NoSQL”挑战,而挑战者是以Hadoop为代表的分布式计算开源架构。可以看到, 越来越多的消息表明,不管NoSQL是被解释为“No SQ...

ddatsh
2011/09/22
1K
1
大数据平台网站日志分析系统

1:大数据平台网站日志分析系统,项目技术架构图: 2:大数据平台网站日志分析系统,流程图解析,整体流程如下:   ETL即hive查询的sql;   但是,由于本案例的前提是处理海量数据,因而,...

别叫小伙
2017/12/09
0
0
大数据下的数据分析平台架构

时间:2011-08-15 14:59 作者:谢超 随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,...

长征2号
2017/04/07
0
0
加快Hadoop查询--Apache Drill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法,Apache 软件基金会发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel. Apache Drill 在基于 SQL 的数据分...

匿名
2012/08/22
11.4K
0
Gartner:自建大数据安全分析平台恐难逃失败厄运!

就在2017年4月11日,Gartner的著名分析师Anton Chuvakin在其Gartner官方博客上称“企业和组织如果打算自建安全数据湖或者定制自己的大数据安全分工具的话,那么基本上肯定会失败”! Anton以...

叶蓬
2017/04/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

CentOS7.6中安装使用fcitx框架

内容目录 一、为什么要使用fcitx?二、安装fcitx框架三、安装搜狗输入法 一、为什么要使用fcitx? Gnome3桌面自带的输入法框架为ibus,而在使用ibus时会时不时出现卡顿无法输入的现象。 搜狗和...

技术训练营
昨天
5
0
《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
昨天
8
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
昨天
10
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
昨天
6
0
PHP+Ajax微信手机端九宫格抽奖实例

PHP+Ajax结合lottery.js制作的一款微信手机端九宫格抽奖实例,抽奖完成后有收货地址添加表单出现。支持可以设置中奖概率等。 奖品列表 <div class="lottery_list clearfix" id="lottery"> ......

ymkjs1990
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部