加载中
hadoop面试题20道

  1.简要的描述一下如何安装一个apache开原版的hadoop,无需列出完整步骤。   1.创建hadoop用户.   2.setup修改IP.   3.安装javaJdk,并且修改etc/profile文件,配置java的环境变量...

2016/03/02 11:27
317
mapreduce文件读取与清洗

package com.demo.admin; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration;...

2015/12/24 18:27
574
mapreduce文件匹配相同数据多文件输出

package mapper; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import ...

2016/01/02 17:45
278
MapReduce V1:Job提交流程之JobClient端分析

我们基于Hadoop 1.2.1源码分析MapReduce V1的处理流程。 MapReduce V1实现中,主要存在3个主要的分布式进程(角色):JobClient、JobTracker和TaskTracker,我们主要是以这三个角色的实际处理...

2015/10/09 10:51
1.4K
Hadoop2.2.0-HA高可用集群环境搭建

Hadoop2.2.0-HA高可用集群环境搭建 集群主机信息 主机名称 主机ip 配置 主要功能 master1 硬盘300G,内存32G,CPU8核 管理主节点 master2 硬盘300G,内存32G,CPU8核 管理备份节点 slave1 硬盘...

2015/09/15 11:07
551
SQOOP导入mysql数据库乱码

一、mysql中的编码 mysql> show variables like 'collation_%'; +----------------------+-------------------+ | Variable_name | Value | +----------------------+-------------...

2015/08/29 16:36
2.2K
hadoop异常记录

下面遇到问题,提供了一些解决办法,希望有所帮助 1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 这是reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上...

2015/05/16 11:42
390
Hadoop1.0.4+Hbase0.94+zookeeper3.4.5+phoenix3.1.0

1. JDK安装 JDK解压配置环境变量 vi /etc/profile 2. 每台机器相关设置 1.设置静态ip(便于机器之间的通信,防止路由器电脑重启后,ip变化,导致不能通信) vim /etc/sysconfig/network-scr...

2015/05/06 15:04
711
Hadoop中HDFS的工作原理

HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。 HDFS有很多特点: ① 保存...

2015/04/22 17:42
482
MapReduce工作原理图文详解

1.MapReduce作业运行流程 下面贴出我用visio2010画出的流程示意图: 流程分析: 1.在客户端启动一个作业。 2.向JobTracker请求一个Job ID。 3.将运行作业所需要的资源文件复制到HDFS上,包括...

2015/04/22 17:39
58
hadoop完全分布式

本文是将三台电脑用路由器搭建本地局域网,系统为centos6.5,已经实验验证,搭建成功。 一、设置静态IP&修改主机名&关闭防火墙(all-root)(对三台电脑都需要进行操作) 0.将三台电脑安装cen...

2015/04/22 11:37
40
hadoop伪分布式搭建

1. 环境搭建 搭建测试环境所需的软件包括:jdk1.6.0_20、hadoop-1.0.4.tar.gz。测试服务器操作系统Linux Cent OS 5.5。 网上说使用专门的用户hadoop操作,但是这里我是全使完用的root,方便而...

2015/04/22 11:35
141
初识Hadoop

要对Hadoop整体有一个概念,是解决什么问题的要有一个认识。 当一头牛拉不动一根木头的时候,为了解决这个问题,我们不会去培育更强更壮的牛。同样,我们也不需要尝试开发超级计算机,而应该...

2015/03/24 11:58
384

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部