文档章节

hadoop散记

Zero零_度
 Zero零_度
发布于 2014/12/22 09:08
字数 100
阅读 110
收藏 3

不写,默认是下面的转换类
job.setInputFormatClass(TextInputFormat.class)

List<InputSplit> InputFormat.getSplits首先对输入的数据做切分,切分后的split书面决定map的任务数;

RecordReader<K,V> InputFormat.createRecordReader(InputSplit split, ...)传入切分的数据,处理成key、value,然后把keyvalue值送给map执行,每一对key、value对都会调用一次map;

FileInputFormat<K, V> extends InputFormat<K, V>

List<InputSplit> FileInputFormat.getSplits

TextInputFormat extends FileInputFormat<LongWritable, Text>

 

© 著作权归作者所有

共有 人打赏支持
Zero零_度
粉丝 69
博文 1250
码字总数 254751
作品 0
程序员
私信 提问
SSO学习散记

没有什么条理,就当做个笔记,怕以后忘记了。 最近在学习SSO的理论知识以及架构设计,没有进行实战,不过看网上有很多开源的框架,应该集成起来比较方便吧。 这里主要想记录的是关于用户数据...

十月阳光
2015/12/30
61
0
检查单 2015-02-01-01

上文: http://my.oschina.net/typhoon/blog/368121 下文: http://my.oschina.net/typhoon/blog/415294 分类: 技能相关项: 基础项: TFW-BASE 、TFW-WEB-BASE 、TFW-WEB-LPM 相关项: [完......

自由狼-台风
2015/02/01
0
1
使用Python解析JSON数据的基本方法

Python的json模块提供了一种很简单的方式来编码和解码JSON数据。 其中两个主要的函数是 json.dumps() 和 json.loads() , 要比其他序列化函数库如pickle的接口少得多。 下面演示如何将一个P...

zhaobaoxin123
2017/02/21
0
0
现代操作系统阅读 散记_系统概述

第一章引论,花了半天时间匆匆浏览,大概建立了一个对操作系统的映像 对于下面第六题的答案里提到管道有点迷惑 后面的几个题好难,自己看的还是不太明白哦! 将本书的课后习题及查到的答案附录于...

llwwzz
2014/08/03
0
0
来自科学网博主的问候

几年前在科学网科学博客上开博,托科学网朋友们厚爱,平均点击量常在前6-13之间震荡 (多发新博文后,均击量会降低)。 网址是http://blog.sciencenet.cn/home.php?mod=space&uid=287179 为点...

tangchangjie
2013/06/19
0
0

没有更多内容

加载失败,请刷新页面

加载更多

说一说MySQL的锁机制

锁概述   MySQL的锁机制,就是数据库为了保证数据的一致性而设计的面对并发场景的一种规则。   最显著的特点是不同的存储引擎支持不同的锁机制,InnoDB支持行锁和表锁,MyISAM支持表锁。...

开元中国2015
21分钟前
5
0
浅谈教你如何掌握Linux系统

浅谈教你如何掌握Linux系统 linux能做什么?相信绝大数人都有这样的疑问。可以玩吃鸡吗?可以玩lol吗? 如果你是以娱乐的名义来评价linux的可用性,对不起,linux可能不适合你,因为linux是一...

linuxCool
28分钟前
3
0
基于Spring Boot实现图片上传/加水印一把梭操作

文章共 537字,阅读大约需要 2分钟 ! 概述 很多网站的图片为了版权考虑都加有水印,尤其是那些图片类网站。自己正好最近和图片打交道比较多,因此就探索了一番基于 Spring Boot这把利器来实...

CodeSheep
39分钟前
3
0
设计一个可拔插的 IOC 容器

前言 磨了许久,借助最近的一次通宵上线 cicada 终于更新了 v2.0.0 版本。 之所以大的版本号变为 2,确实是向下不兼容了;主要表现为: 修复了几个反馈的 bug。 灵活的路由方式。 可拔插的 ...

crossoverJie
今天
4
0
Apache和PHP结合,httpd的虚拟主机配置

httpd配置支持php 上次安装httpd2.4对应的配置文件:/usr/local/apache2.4/conf/httpd.conf 编辑配置文件,修改以下4个地方 ServerName Require all denied AddType application/x-httpd-ph...

野雪球
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部