加载中
[hadoop2.7.1]I/O之MapFile(排过序的SequenceFile)读、写、重建index实例

MapFile 是排序后的SequenceFile,MapFile由两部分组成,分别是data和index。 index 文件的数据索引,主要记录了每个Record的key值,以及该Record在文件中的偏移位置。在MapFile被访问的时候...

2016/04/13 16:12
115
[hadoop2.7.1]I/O之IntWritable测试实例(详尽)

用到的开源工具包:hamcrest,junit IDE:MyEclipse 2013 SR1 用到的工具: 1、String java.lang.String.format(Locale l,String format,Object... args) 使用指定的语言环境、格式字符串和参...

2016/04/13 16:12
67
[hadoop2.7.1]I/O之序列化(serializer)

先来看下org.apache.hadoop.io.serializer的类图(hadoop2.7.1): 由类图看: 接口三个: 1、Deserializer:定义反序列化接口; 2、Serializer:定义序列化接口; 3、Serialization:定义了...

2016/04/13 16:12
64
[hadoop2.7.1]I/O之序列化(WritableSerialization)示例

首先先引入hadoop2.7.1中的一个工具类GenericsUtil,顾名思义,是用来处理java泛型的一个工具类,这个类很简单,但很实用,不多说,直接上源码: package org.apache.hadoop.util; import ...

2016/04/13 16:12
69
[java]任意位置切分string

源码: package test1.string; import java.util.ArrayList; import java.util.List; public class Split {   public static void main(String[] args) {     for (String part : getParts("T...

2016/04/13 16:12
71
[hadoop2.7.2]搭建eclipse源码阅读环境

有的小伙伴在问我如何在windows下搭建一个eclipse的hadoop源码阅读环境,今天就以hadoop2.7.2为例,简单介绍下如何搭建。 环境及工具如下: 1、系统:windows7 2、eclipse版本:eclipse-jee...

2016/04/13 16:12
206
[hadoop2.7.1]I/O之压缩

先来看下类图(hadoop2.7.1): 对照类图,对每一种压缩算法做个简单介绍: DeflateCodec(DEFLATE) hadoop2.7.1中实际上就是DefaultCodec。 它同时使用了LZ77算法与哈夫曼编码(Huffman C...

2016/04/13 16:12
38
[hadoop2.7.1]I/O之SequenceFile最新API编程实例(写入、读取)

写操作 根据上一篇的介绍,在hadoop2.x之后,hadoop中的SequenceFile.Writer将会逐渐摒弃大量的createWriter()重载方法,而整合为更为简洁的createWriter()方法,除了配置参数外,其他的参...

2016/04/13 16:12
41
[hadoop2.7.1]I/O之一步一步解析Text(实例)

通过上一篇的讲述,我们知道hadoop中的Text类,跟java中的String类很相似,在其定义的方法上,也多有相近之处,当然,由于用途、UTF编码的不同,两者之间还是有很大的区别。下面要讲实例除了...

2016/04/13 16:12
67
[hadoop2.7.1]I/O之tfile

在这儿做个记录吧 org.apache.hadoop.io.file.tfile.TFile @Public @Evolving A TFile is a container of key-value pairs. Both keys and values are type-less bytes. Keys are restricted...

2016/04/13 16:12
54
[java]埃拉托斯特尼筛法检定素数

埃拉托斯特尼筛法,简称埃氏筛或爱氏筛,是一种由希腊数学家埃拉托斯特尼所提出的一种简单检定素数的算法。要得到自然数n以内的全部素数,必须把不大于根号n的所有素数的倍数剔除,剩下的就是...

2016/04/13 16:12
574

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部