加载中
Hadoop 2.5.1学习笔记3:关于Combiner

如果把前面的例子加上Combiner.class public static class Combiner extends Reducer<Text, Text, Text, Text> { public void reduce(Text key, Iterable<Text> values, Context context) th...

Hadoop学习笔记14:./bin/hadoop namenode -format之源码解析

上一节讲解了shell脚本运行的本质 这下让我们真正来一探类 org.apache.hadoop.dfs.NameNode PS:这年头不会源码不好混啊,生活所迫! 准备工作: 需要把相应的.xml文件放在正确的目录下 还有源...

HDFS【2.5.1】系列3:解密命令行 ./bin/hdfs namenode -format

学习Hadoop的过程中,教程标注需要在启动集群之前先格式化hdfs文件系统。 我之前以为格式化就跟linux一样, 后来很粗略的看过老版的源码,发现比我想的要简单很多。唯一可以解释的就是分布式...

HDFS-2.7.0系列3: hdfs namenode -format

上一节,讲过了,执行hadoop namenode -format后 实际上是执行 /root/hadoop-2.7.0-bin/bin/hdfs namenode -format 下面就来分析这个脚本 --- bin=`which $0` bin=`dirname ${bin}` bin...

我的第1个开源项目:MySQL-Binlog

阅读了github上的项目 https://github.com/shyiko/mysql-binlog-connector-java的源码 然后用netty重写了整个软件 开源软件地址 http://git.oschina.net/qiangzigege/MySQL-Binlog 用netty重...

HDFS的客户端编写-重构版

public class MyHDFSSupport { private static final Log logger = LogFactory.getLog(MyHDFSSupport.class); private static ThreadLocal<MyInformation> threadLocalInformations = new Th...

Hive学习之修改表、分区、列

alter table monitor.url_monitor_report add partition(p_ymd='2016-04-20',p_hour='18',p_minute='30') location '/user/hive/presto/monitor/url_monitor_report/2016-04-20/18/00'; hive...

Nginx源码分析系列2:系统错误提示信息汇总

error no.0---Success error no.1---Operation not permitted error no.2---No such file or directory error no.3---No such process error no.4---Interrupted system call error no.5---I...

一条运维短信引起的思考

刚吃完饭,看到手机来了几条短信,显示内存不够,赶紧登陆机器 发现问题: 8G内存,占用了7G,而我的java进程设置了 -Xms2048m -Xmx2048m ,那内存跑哪去了? 恰好看到azkaban计算可用内存代码...

HDFS【2.5.1】系列1:HDFS的核心数据结构---元数据

我们都知道Hadoop的底层是HDFS-Hadoop Distributed File System.也就是Hadoop分布式文件系统。 所有的运算都是基于HDFS文件的,它的核心关键词有:主从NameNode VS DataNode. -----------其中...

Flume-1.6.0 源码分析1:ExecSource分析

http://www.aboutyun.com/thread-6844-1-1.html http://blog.csdn.net/wsscy2004/article/details/39696095 http://www.cnblogs.com/dyllove98/p/3233758.html http://www.blogjava.net/paul...

Azkaban的Exec Server分析 29:JobRunner的真正执行过程(前奏)

重点来了,现在看看Job Runner的运行过程! ========================================================================================== jdb azkaban.execapp.AzkabanExecutorServer -co...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部