加载中
hadoop配置类一览(持续更新中)

整个hadoop的配置项估计有1000+,目前官方文档还没有完全的配置列表,只能靠看源码(依然还是有不少配置未被统一写到常量类里的,配置参数的key和默认值都被放到具体的功能模块里了)以下是暂...

2013/05/19 03:02
519
map/reduce优化

第一部分:组件 Combiner 什么是Combiner? combine函数把一个map函数产生的<key,value>对(多个key, value)合并成一个新的<key2,value2>. 将新的<key2,value2>作为输入到reduce函数中,其格...

2013/05/12 02:58
188
hadoop参数调优(mapred-site.xml)

property default description io.sort.mb 100(mb) 缓存map中间结果的buffer大小 io.sort.record.percent 0.05 io.sort.mb中用来保存map output记录边界的百分比,其他缓存用来保存数据 io.s...

2013/05/12 02:43
1K
hadoop参数调优(hdfs-site.xml)

property default description dfs.block.size 67108864 默认每個 block 是 64MB。如果確定存取的文件块都很大可以改為 134217728(128MB)。Client 也可自行决定要使用的 block size 而不需要...

2013/05/12 02:37
232
hadoop参数调优(core-site.xml)

property default description fs.default.name file:/// 设置Hadoop namenode的hostname及port,预设是Standalone mode,如果是伪分布式文件系统要设置成 hdfs://localhost:9000,如果使用集...

2013/05/12 02:23
122
java ee 代码优化

2.1 使用缓冲标记   一些应用服务器加入了面向JSP的缓冲标记功能。例如,BEA的WebLogic Server从6.0版本开始支持这个功能,Open Symphony工程也同样支持这个功能。JSP缓冲标记既能够缓冲页...

2013/05/11 00:16
80
java se 代码优化

1.1 不用new关键词创建类的实例   用new关键词创建类的实例时,构造函数链中的所有构造函数都会被自动调用。但如果一个对象实现了Cloneable接口,我们可以调用它的clone()方法。clone()方法...

2013/05/11 00:15
35
java访问权限

关于java访问权限关键词

2010/07/05 00:00
30
pig与hive的区别

请允许我很无聊的把飞机和火车拿来做比较,因为2者根本没有深入的可比性,虽然两者都是一种高速的交通工具,但是具体的作用范围是截然不同的,就像Hive和Pig都是Hadoop中的项目,并且Hive和p...

2013/05/10 02:41
3.6K
pig基本语法

。Pig Latin是一种数据流语言,变量的命名规则同java中变量的命名规则,变量名可以复用(不建议这样做,这种情况下相当与新建一个变量,同时删除原来的变量) A = load 'NYSE_dividends' (e...

2013/05/10 02:37
197
hive基本语法

DDL Operations 创建表 hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段ds hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有...

2013/05/08 22:39
205
手把手教你简单实现倒排索引

import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Map.Entry; import java.util.StringTokenizer; /** * * 存...

2013/05/06 10:04
412
KMP algorithm

字符串匹配是计算机的基本任务之一。 举例来说,有一个字符串”BBC ABCDAB ABCDABCDABDE”,我想知道,里面是否包含另一个字符串”ABCDABD”? 许多算法可以完成这个任务,Knuth-Morris-Prat...

2013/05/05 20:56
43
Boyer-Moore algorithm

Boyer-Moore算法不仅效率高,而且构思巧妙,容易理解。1977年,德克萨斯大学的Robert S. Boyer教授和J Strother Moore教授发明了这种算法。 下面,我根据Moore教授自己的例子来解释这种算法。...

2013/05/05 20:55
115
hadoop recovery

1. JobTracker 暂无容错机制,挂掉之后,需要人工介入,重启。 用户可以通过配置一些参数,以便JobTracker重启后,让所有作业恢复运行。用户配置若干参数后,JobTracker重启前,会在history...

2013/05/05 20:45
173
freemarker+shiro+spring mvc+spring+mybatis整合

shiro配置: <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:context="http://www.springframework.org/schema/context" xmln...

2012/02/06 00:00
6.8K
map/reduce开发调测三部曲

第一步: 在eclipse下模拟数据进行基础的代码逻辑调测。 第二步: 首先在eclipse下利用小块资源单机伪分布进行调测。 第二步: 发布至集群下进行m/r。

2012/09/29 00:00
60
HADOOP三台机集群测试简单配置

简单配置:(n为只需要在namenode上设置,n,d为namenode和datanode都需要设置,配置文件在hadoop/conf下) /etc/profile:(n,d) export HADOOP_HOME=/app/hadoop-1.1.2 export PATH=$HADOOP_HOM...

2012/10/08 00:00
215
xpath解析

对于垂直搜索,经常需要在专一领域的网站上抓取信息,这些网站上的垂直资源往往有特定的html结构,html为xml规范的文档,撷取这类文档的方式有很多,xpath相对比较方便操作,通常会用xpath去...

2012/07/24 00:00
148

没有更多内容

加载失败,请刷新页面

返回顶部
顶部