加载中
HDFS详解

HDFS体系结构中有两类节点,一类是NameNode,又叫"元数据节点";另一类是DataNode,又叫"数据节点"。这两类节点分别承担Master和Worker具体任务的执行节点。...

2014/11/26 10:31
4.1W
Twitter Storm源代码分析之DRPC架构细节

这篇文章我们来看一看整个Storm DRPC的架构,整个DRPC里面参与的各方如何交互消息而组成这样一个系统。 架构解析 有图有真相, 我们先看看DRPC的架构图: 从上面的图中看,整个DRPC分为了3个...

2014/11/25 17:04
133
Hadoop学习笔记——高级编程

我们了解到了MapReduce整个过程需要经过以下几个步骤: 1.输入(input):将输入数据分成一个个split,并将split进一步拆成。 2.映射(map):根据输入的进生处理, 3.合并(combiner):合并中间相...

2014/11/25 11:26
202
用Hadoop Streaming技术集成newLISP脚本

本文example6环境和之前的Hadoop 1.x不同,是在Hadoop 2.x环境下测试。功能和前面的日志处理程序一样。

2014/11/24 14:40
51
HBase Scan流程分析

HBase的读流程目前看来比较复杂,主要由于: HBase的表数据分为多个层次,HRegion->HStore->[HFile,HFile,...,MemStore] RegionServer的LSM-Like存储引擎,不断flush产生新的HFile,同时产生新...

2014/11/21 17:00
1.3K
数据ZooKeeper数据模型

ZooKeeper拥有一个层次的命名空间,这个和分布式的文件系统非常相似。不同的是ZooKeeper命名空间中的Znode,兼具文件和目录两种特点。既像文件一样维护着数据、元信息、ACL、时间戳等数据结构...

2014/11/21 14:14
156

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部