加载中
Eclipse调优

工欲善其事必先利其器, 注意! 本次实验, Eclipse只有自带的插件, Workspace 也没有任何 Project, 实验结果仅供参考

2016/05/26 16:13
129
RPC的简单实现

基于 Proxy, Socket, IO 的 RPC 实现, 模仿了 Hadoop 1.0 的 RPC框架

volatile与可见性

何为可见性? 下面是两段很诡异的代码, 根本原因在于可见性, 如何用 volatile 关键字实现可见性,

Hadoop中RPC机制详解之Server端

Hadoop 中 RPC 机制建立在 Java 的动态代理, NIO 之上, 下面将以跟踪源码的方式, 解读 Hadoop 中 RPC 机制

Hadoop中RPC机制详解之Client端

Hadoop 中 RPC 机制建立在 Java 的动态代理, NIO 之上, 下面将以跟踪源码的方式, 解读 Hadoop 中 RPC 机制

spark-shell实现PageRank

spark-shell实现简单, 基础的PageRank, 下面的代码来自于"Spark快速大数据分析"一书( 稍有改动+注释 ), 它充分地展现了Spark在进行数据分析的优雅与强大...

Dijkstra算法

Dijkstra 算法解决非负权有向图的单源最短路径问题, 是目前最快的单源最短路径算法, 其算法时间复杂度为 O(n^2)

JDK动态代理的简单实现

调用 Proxy 实例的方法时, 都会被 InvocationHandler 实例对象的 invoke() 方法所捕获. 这是如何做到的呢? 下面将从源码的角度解答

重构二叉树之前序遍历和中序遍历

根据二叉树的前序遍历和中序遍历结果, 可以确定一个唯一的二叉树

用户查询日志(SogouQ)之查询词URL最优Rank

最优的 PageRank 是搜索引擎所关注的重点, 那么如何通过用户查询日志来算出查询词 URL 最优 Rank 的频率呢? 又是WordCount

用户查询日志(SogouQ)之查询词WordCount

在spark-shell中, 可以方便的使用Spark, 大大降低了学习门槛, 当然前提是会一点Scala

spark-shell实现WordCount&按word排序&按count排序

Spark + Scala = 快速 + 高效, 一个 WordCount 也可以写出新花样

2016/04/24 22:53
518
Hive实现WordCount

简单点, 实现的方式简单点!

CentOS中安装MySQL

在CentOS中安装MySQL, 以及远程访问 MySQL 数据库, 显示 "1130 - Host'xxx.xxx.xxx.xxx' is not allowed to connect to this MySQL server" 的解决办法...

2016/04/22 21:43
74
MapReduce实现WordCount, 及其优化

WordCount是大数据入门级程序, 就像Hello world! 一样. 但是在大数据处理过程中, 优化是很有必要的, 更少的GC, 肯定会带来更快的速度 利用combiner来减少通过shuffle传输的数据量, 这是MapRe...

HDFS下载数据之源码分析-FileSystem.get(conf)_block01

首先来看一下, FileSystem(org.apache.hadoop.fs.FileSystem), 这是一个抽象类, 是所有文件系统的父类. 而我们要从HDFS(Hadoop Distributed FileSystem)下载数据, 应该获取一个DistributedFi...

HDFS下载数据之源码分析-FileSystem.get(conf)_block02

接block01 来自分割线4, 调用NameNodeProxies.createNNProxyWithClientProtocol(InetSocketAddress address, Configuration conf, UserGroupInformation ugi, boolean withRetries)方法 priv...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部