加载中
Hadoop框架排序和分组的理解

MapReduce框架会确保每一个Reducer的输入都是按Key进行排序的。一般,将排序以及Map的输出传输到Reduce的过程称为混洗(shuffle)。每一个Map都包含一个环形的缓存,默认100M,Map首先将输出写...

2017/03/26 13:14
22
Hadoop之——自定义分组比较器实现分组功能

package com.lyz.hadoop.group; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; ...

2017/03/26 12:59
22
hadoop程序问题:java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///

hadoop程序问题:java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:/// Java代码如下: FileSystem fs = FileSystem.get(conf); in = fs.open(new Path("hdfs://192.16...

2017/03/21 15:40
108
运行mapreduce程序时map class not foun出现异常java.lang.RuntimeException: java.lang.ClassNotFoundException的原因

运行mapreduce程序时出现异常java.lang.RuntimeException: java.lang.ClassNotFoundException的原因 标签: mapreducejareclipsedeprecated作业hadoop 2010-08-16 19:34 14653人阅读 评论(11...

2017/03/17 17:52
22
hadoop2.x yarn了解

hadoop1.x mapreduce与hadoop2.x yarn的共同之处,都是分布式的 JobTracker一个,TaskTracker多个 ResourceManager一个,NodeManager多个 JobTracker作用:分配客户端提交的作业,追踪活跃的T...

2017/02/21 10:40
31
hadoop 中什么是slots

资源slot概述 slot不是cpu的core,不是memory chip,他是一个逻辑概念,一个节点slot的数量表示 某个节点资源的容量或者说是能力的大小,因而slot是hadoop的资源单位 比方说人的工作能力 map ...

2017/02/21 10:31
11
Hadoop issue collections

整理在工作中遇到的Hadoop平台遇到的报错信息,以及解决思路。

2017/01/17 10:19
30
MultipleOutputs<KEYOUT, VALUEOUT> 的write方法

/** * Write key and value to baseOutputPath using the namedOutput. * * @param namedOutput the named output name * @param key the key * @param value the value * @param baseOutput...

2016/12/05 14:32
19
将本地的第三方jar加入hadoop distributeCache DistributedCache hadoop eclipse-plugin jar ClassNotFoundException

将本地的第三方jar加入hadoop distributeCache DistributedCache hadoop eclipse-plugin jar ClassNotFoundException 通过 "conf.set("tmpjars", jars);" 可以设置第三方jar,之前一直只是添...

2016/12/01 21:08
15
hadoop mapreduce过程分析学习

mapreduce框架学习 第一代mapreduce局限性 扩展性差: JobTracker同时具备了资源管理和作业控制两个功能,制约了hadoop集群扩展性 资源利用率低,mr1采用了基于槽位的资源分配模型,槽位slo...

2016/11/26 13:31
63
hadoop hdfs文件系统分析,名字节点,数据节点之间的交互

了解hdfs文件系统的实现,hdfs节点之间的通信,如何对数据进行存储

2016/11/23 10:33
67
log4j.properties配置

log4j.rootLogger=DEBUG, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.Co...

2016/11/21 15:32
7
摘要: hadoop中4种压缩格式的特征的比较

摘要: hadoop中4种压缩格式的特征的比较 1 gzip压缩 优点:压缩率比较高,而且压缩/解压速度也比较快;hadoop本身支持,在应用中处理gzip格式的文件就和直接处理文本一样;有hadoop native库...

2016/11/21 14:40
32
hadoop输入路径遇到的问题

在hadoop的编程中,如果你是手写MapReduce来处理一些数据,那么就避免不了输入输出参数路径的设定,hadoop里文件基类FileInputFormat提供了如下几种api来制定: 如上图,里面有 (1)addInpu...

2016/11/16 19:57
130
hadoop 入门wordcount分析

Hadoop wordcount程序的配置运行 hadoop是apache开源的一个分布式计算框架,定义了一种能够开发和运行处理海量数据的软件规范,永凯实现一个在大型规模集群中对海量数据进行分布式计算的软件...

2016/11/15 10:06
25
hadoop集群中一些默认的端口和配置大全

Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此...

2016/11/14 17:37
1K
hadoop多路径输入总结

问题导读 1.如何将本地多个输入文件合并到hadoop中的一个文件? 2.MapReduce多路径输入,文说了几种路径模式? 目前为止知道MapReduce有三种路径输入方式。 1、第一种是通过一下方式输入: ...

2016/11/14 11:42
70
Hadoop配置文件

Hadoop配置文件 部分内容参考:http://www.linuxqq.NET/archives/964.html http://slaytanic.blog.51cto.com/2057708/1100974/ Hadoop的重要配置文件有以下几个: 在1.2.1版本中,core-defa...

2016/11/02 20:02
35
VirtualBox复制虚拟机

hadoop集群的时候,如何在虚拟机中创建多个系统

2016/07/12 17:50
12
hadoop使用中遇到的问题

错误Name node is in safe mode的解决方法 将本地文件拷贝到hdfs上去,结果上错误:Name node is in safe mode 这是因为在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系...

2016/07/07 09:16
28

没有更多内容

加载失败,请刷新页面

返回顶部
顶部