加载中
MapReduce实现倒排索引

需求: 为a, b, c 3个文本文件中的单词建倒排索引 输出格式: <word,"a:2,b:3,c:1"> a: hello world hello hadoop hello world b: spark hadoop hello hadoop world hadoop c: spark world hel...

Hadoop中RPC机制简介

Hadoop中RPC机制建立在Java的Proxy(动态代理), NIO基础上, 我们可以在Client端调用Server端方法, 就像调用本地方法一样

Hadoop中RPC机制详解之Server端

Hadoop 中 RPC 机制建立在 Java 的动态代理, NIO 之上, 下面将以跟踪源码的方式, 解读 Hadoop 中 RPC 机制

MapReduce实现WordCount, 及其优化

WordCount是大数据入门级程序, 就像Hello world! 一样. 但是在大数据处理过程中, 优化是很有必要的, 更少的GC, 肯定会带来更快的速度 利用combiner来减少通过shuffle传输的数据量, 这是MapRe...

Hadoop序列化&Java序列化

Java序列化机制将对象装换为连续的byte数据, 这些数据可以在以后还原(反序列化)成原来的对象 Java中, 要想一个类的实例可被序列化, 该类须实现Serializable接口. Serializable接口是一个标志...

Hadoop中RPC机制详解之Client端

Hadoop 中 RPC 机制建立在 Java 的动态代理, NIO 之上, 下面将以跟踪源码的方式, 解读 Hadoop 中 RPC 机制

HDFS下载数据之源码分析-FileSystem.get(conf)_block01

首先来看一下, FileSystem(org.apache.hadoop.fs.FileSystem), 这是一个抽象类, 是所有文件系统的父类. 而我们要从HDFS(Hadoop Distributed FileSystem)下载数据, 应该获取一个DistributedFi...

RPC的简单实现

基于 Proxy, Socket, IO 的 RPC 实现, 模仿了 Hadoop 1.0 的 RPC框架

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部