加载中
MapReduce的模式、算法和用例

在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法,并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型,包括Mappers, Reduces,...

2013/08/23 18:18
208
MapReduce执行流程

MapReduce的大体流程是这样的,如图所示: 由图片可以看到mapreduce执行下来主要包含这样几个步骤 1.首先对输入数据源进行切片 2.master调度worker执行map任务 3.worker读取输入源片段 4.wo...

2013/08/23 17:28
308
设计模式之迭代器模式(Iterator)

1参考文章 参考1:http://topic.csdn.net/u/20080722/16/e7fcffc3-3d54-48f6-9d3a-2cd39073a287.html 参考2:http://www.java63.com/design_pattern/iterator_pattern.html 参考3:http://bl...

2013/08/23 15:32
55
[转载]论这两年不断突破心理底线的互联网薪水(二)by OfferCome

二、这两年互联网市场为什么涨薪这么快?目前的市场供需情况? 开篇: 欢迎各位候选人、客户、同行的亲们关注微博,私信交流。本人微博是http://weibo.com/xiaokangwei,搜“魏小康xiaokang”...

2013/08/22 16:51
1K
[拼凑、转载]Hadoop面试前要做的准备

入门: 知道MapReduce大致流程,map, shuffle, reduce 知道combiner, partition作用,设置compression combiner的输入输出类型必须和mapper的输出以及reducer的输入类型一致。 Mapper的结果,...

2013/08/07 18:12
527
hadoop中map和reduce的数量设置问题

map和reduce是hadoop的核心功能,hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算,从这个观点来看,如果将map和reduce的数量设置为1,那么用户的任务就没有并行执行,但...

2013/08/06 15:10
20K
Hadoop集群的配置调优

一、背景 Hadoop的集群使用也有些时候了,不过都是小集群的使用(数量小于30台)。在这个过程中不断的进行着配置调优的操作。最早的时候,在网上也没有找到一些合适的配置调优方法,于是,我...

2013/08/06 15:08
152
[转载 推荐]论这两年不断突破心理底线的互联网薪水by OfferCome

本文分三部分,可能再加一个第四部分“答读者问”。 第一部分——“现在互联网市场行情如何?需要什么样的人?” 现在的互联网行情如何?不同水平的人收入如何?有哪些热门的职业、细分行业?...

2013/08/06 09:50
268
Hive旺旺讨论(关于mapjoin)

shaomn (2013-08-01 13:39:06): select/*+ mapjoin(a)*/ a.* from sma a left outer join smb b on a.k=b.k; FAILED: Error in semantic analysis: MAPJOIN cannot be performed with OUTER ...

2013/08/02 10:12
234
[转载]浅析Hadoop文件格式

Hadoop 作为MR 的开源实现,一直以动态运行解析文件格式并获得比MPP数据库快上几倍的装载速度为优势。不过,MPP数据库社区也一直批评Hadoop由于文件格式并非为特定目的而建,因此序列化和反序...

2013/08/01 14:17
84
【转】技术普及帖:你刚才在淘宝上买了一件东西

你发现快要过年了,于是想给你的女朋友买一件毛衣,你打开了www.taobao.com。这时你的浏览器首先查询DNS服务器,将www.taobao.com转换成ip地址。不过首先你会发现,你在不同的地区或者不同的...

2013/07/31 18:15
36
深入理解Hadoop集群和网络

本文侧重于Hadoop集群的体系结构和方法,以及它与网络和服务器基础设施的关系。文章的素材主要来自于研究工作以及同现实生活中运行Hadoop集群客户的讨论。如果你也在你的数据中心运行产品级的...

2013/07/31 10:52
124
private static final long serialVersionUID =?有什么用

private static final long serialVersionUID = ??? 此变量有什么用途? 一般在什么情况下加入这样的变量?它的值有什么要求? 你可以这样理解: serialVersionUID 用来表明类的不同版本间的兼...

2012/11/19 13:11
106
Android用摄像头的那点破事

摄像头不是所有随便的(w, h)都能够认识的,所以呢,我们有了下面这样的增强版: List<Size> mSupportedPreviewSizes; mSupportedPreviewSizes = mCamera.getParameters().getSupportedPrevie...

2012/11/12 17:05
581
Ubuntu使用远程桌面

不管是ubuntu原生的还是kubuntu,默认都是自带远程桌面软件的,可以用它来图形化的控制远程的服务器。但是最近换了另一个ubuntu的衍生版:lubuntu,它没有自带远程链接软件,所以就自己装了一...

2012/11/02 09:33
213
Ubuntu 系统grub丢失,不能进入系统 或者只能进入windows系统的dos界面解决办法

自己亲测 非常好用 使用Ubuntu liveCD进入系统: $ sudo -i #fdisk -l 然后找到自己的linux的那个盘,例如/dev/sda8 #mount /dev/sda /mnt 将系统挂在到了mnt上 然后 #grub-install --root-d...

2012/11/01 14:39
151
ubuntu下开发安卓使用USB真机调试设置

真机调试时候,使用adb devices会出现不能识别出现: song@song-Lenovo:~/下载$ adb devices List of devices attached emulator-5554 device //eclipse的虚拟机 ???????????? no permissi...

2012/10/28 16:57
2.1K
Ubuntu下使用LAMP

几个命令:service apache2 restart //重启apache2 默认安装目录位置:(1)www文件:/var/www (2)apache配置文件 /etc/apache2/apache2.conf 1. LAMP 的安装 sudo apt-get install apache2...

2012/10/28 11:20
61
-webkit的几个属性

现在IOS和ANDROID上面都是webkit内核,所以在手机上使用CSS样式,-webkit的几个属性很重要 -webkit-text-size-adjust 1、当样式表里font-size<12px时,中文版chrome浏览器里字体显示仍为12p...

2012/10/17 09:50
246
.tar.xz文件的解压

.tar.xz文件的解压 这种文件是使用tar打包后再压缩生成的。解压方法是:   1、xz -d **.tar.xz   2、tar -xvf **.tar 如没有按照xz工具,则首先需要下载、安装xz工具:   http://tuka...

2012/09/04 16:09
274

没有更多内容

加载失败,请刷新页面

返回顶部
顶部