加载中
RCFile 结构解析

Facebook工程师发表的RCFile: A Fast and Spaceefficient Data Placement Structure in MapReducebased Warehouse Systems,介绍一种高效数据存储结构——RCFile(Record Columnar File),并...

2015/07/31 22:31
2.2K
HDFS DataNode

blockPoolManager、dataXceiverServer和ipcServer是DataNode最终要的三个结构(至少我是这么认为的)

2015/05/10 00:44
70
HDFS DataBlockScanner

DataBlockScanner用于周期性地对块文件进行校验,当客户端读取整个块时,也会通知DataBlockScanner校验结果。

Hadoop NameNode

一个HDFS集群一个NameNode用于管理文件系统的命名空间,一个master server用于管理客户端对文件的访问。同时,还包含一组DataNodes,一般而言集群中的一个节点上面有一个DataNode,用于管理所...

2015/05/03 09:51
190
HDFS FSImage解析

HDFS命名空间保存在NameNode中,NameNode使用一个事务日志(EditLog)保存对系统元数据的所有改动。整个文件系统的命名空间,包括文件和块之间的映射、文件系统属性等都保存在一个叫FsImage...

2015/05/03 09:25
549
SQLite3 C语言 API使用记录

a #include <stdio.h> #include <sqlite3.h> static int callback(void *NotUsed, int argc, char **argv, char **azColName){     int i;     for(i=0;i<argc;i++){ ...

2015/03/28 18:09
383
Hadoop RPC系统

与别的RPC系统相似(主要对比Thrift) Hadoop中也分为了序列化(Transport)、函数调用(Protocol)、传输(Server)和处理(Processor)四层. 序列化层将Request与Response转成字节流便于网络传输 函数...

2015/01/25 15:45
146

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部