超人学院 - OSCHINA - 中文开源技术交流社区

超人学院

91

经验值

25

开源豆

关注私信

专长领域： WEB开发, 软件开发管理, 网站运营/站长

开发平台： Java EE, Java SE, JavaScript, HTML/CSS, Linux/Unix

连击天

fork: star:

加载中

深入理解kafka设计原理最近开研究kafka，下面分享一下kafka的设计原理。kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的...

kafka zookeeper follower fetch segment server watch consumer meta 文件系统 broker offset topic

2015/03/31 10:33

5.9K

首先是一些术语的说明。MapReduce作业(job)是客户端执行的单位：它包括输入数据、MapReduce程序和配置信息。Hadoop通过把作业分成若干个小任务(task)来工作，其包括两种类型的任务：map任务和...

reduce mean hdfs hadoop mapreduce tasktracker mapper combiner jobtracker shuffle reducer split

2015/03/30 14:47

349

几个相关类与HBase数据模型之间的对应关系

hbase apache hadoop client byte clear interface family java zookeeper 其他 qualifier void

2015/03/20 15:29

1.3K

HBase运行在Hadoop 0.20.x上，就可以使用其中的安全特性 -- 只要你用这两个版本0.20S 和CDH3B3，然后把hadoop.jar替换掉就可以了

hadoop hbase hdfs ubuntu apache java pam ntp common-linux系统 interface session 操作系统 conf

2015/03/18 14:55

540

hive hbase区别

hive hbase mapreduce hadoop hdfs reduce 关系型数据库搜索引擎文件系统

2015/03/17 15:46

188

从HDFS文件导入HBase

import apache hadoop class commons hbase null mapper mapreduce data catch debug context util hdfs

2015/03/17 15:33

311

docker基础命令

docker debug dns服务器 ctrl attach dockerstop dockerkill attachexamples dns8 host

2015/03/17 14:51

187

前面的HDFS访问模型都集中于单线程的访问。例如通过指定文件通配，我们可以对一部分文件进行处理，但是为了高效，对这些文件的并行处理需要新写一个程序。Hadoop有一个叫distcp(分布式复制)...

hdfs hadoop update 文件系统 rpc系统 distcp rsync mapreduce tasktracker namenode2 namenode1

2015/03/16 16:31

245

Hadoop的kerberos的实践部署

admin kerberos hadoop realm server logging dict type ticket stash profile java rhadoop logadmin

2015/03/16 14:24

1K

如前一小节所解释的，有时不能在应用中设置URLStreamHandlerFactory。这时，我们需要用FileSystem API来打开一个文件的输入流。

文件系统 hadoop hdfs tree class java core-interface beaver null data skip 文件系统api

2015/03/16 14:06

456

一机器 192.168.0.203 hd203： hadoop namenode & hbase HMaster 192.168.0.204 hd204： hadoop datanode & hbase HRegionServer & zookeeper 192.168.0.205 hd205： hadoop datanode & hb...

home hbase hadoop zookeeper java cbcloud linux profile hosts hdfs jdk name value property

2015/03/13 14:50

655

kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力.

kafka zookeeper follower fetch segment server watch consumer meta 文件系统 broker offset topic

2015/03/13 10:35

140

在eclipse中写mapreduce程序, 引用第三方jar文件, 可以利用eclipse hadoop插件直接run on hadoop提交, 很方便. 不过插件版本要和eclipse匹配, 不然总是local执行, 在50070是没有job产生的. 如...

hadoop hdfs mapreduce home tasktracker reduce eclipse class mapper lang map-reduce java jobtracker

2015/03/12 16:07

364

2014应届毕业生，现在年薪16*15K，恭喜这位学员，这就是超人学院的实力。

超人学院就业捷报

2015/03/11 15:06

76

一,当用client向hdfs中写入数据的时候. 当我们向hdfs 写数据的时候,客户端要做两件事.首先,将数据文件划分不同的数据块,划分的标准默认是64MB或128MB,这个是可以配置的.其次是向namenode请求...

client hdfs datanode namenode 分布式文件系统 hadoop 数据存储 nomenode secondnamenode 64mb

2015/03/11 14:40

1.2K

任何文件系统的一个重要特征都是提供其目录结构浏览和检索它所存文件和目录相关信息的功能。FileStatus类封装了文件系统中文件和目录的元数据，包括文件长度、块大小、复本、修改时间、所有者...

文件系统正则表达式 hadoop globbing 时间范围 java mapreduce filestatus pathfilter

2015/03/10 11:14

128

没有更多内容

加载失败，请刷新页面

没有更多内容

©OSCHINA(OSChina.NET)

工信部

开源软件推进联盟

指定官方社区

社区规范

深圳市奥思网络科技有限公司版权所有

粤ICP备12009483号

顶部