加载中
hadoop异常记录

下面遇到问题,提供了一些解决办法,希望有所帮助 1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 这是reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上...

2015/05/16 11:42
390
初识Hadoop

要对Hadoop整体有一个概念,是解决什么问题的要有一个认识。 当一头牛拉不动一根木头的时候,为了解决这个问题,我们不会去培育更强更壮的牛。同样,我们也不需要尝试开发超级计算机,而应该...

2015/03/24 11:58
384
hadoop完全分布式

本文是将三台电脑用路由器搭建本地局域网,系统为centos6.5,已经实验验证,搭建成功。 一、设置静态IP&修改主机名&关闭防火墙(all-root)(对三台电脑都需要进行操作) 0.将三台电脑安装cen...

2015/04/22 11:37
40
hadoop伪分布式搭建

1. 环境搭建 搭建测试环境所需的软件包括:jdk1.6.0_20、hadoop-1.0.4.tar.gz。测试服务器操作系统Linux Cent OS 5.5。 网上说使用专门的用户hadoop操作,但是这里我是全使完用的root,方便而...

2015/04/22 11:35
141
hadoop面试题20道

  1.简要的描述一下如何安装一个apache开原版的hadoop,无需列出完整步骤。   1.创建hadoop用户.   2.setup修改IP.   3.安装javaJdk,并且修改etc/profile文件,配置java的环境变量...

2016/03/02 11:27
317
Hadoop中HDFS的工作原理

HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。 HDFS有很多特点: ① 保存...

2015/04/22 17:42
482
Hadoop2.2.0-HA高可用集群环境搭建

Hadoop2.2.0-HA高可用集群环境搭建 集群主机信息 主机名称 主机ip 配置 主要功能 master1 硬盘300G,内存32G,CPU8核 管理主节点 master2 硬盘300G,内存32G,CPU8核 管理备份节点 slave1 硬盘...

2015/09/15 11:07
551
sqoop数据迁移

1.Sqoop1与Sqoop2的优缺点 比较 Sqoop1 Sqoop2 架构 仅仅使用一个Sqoop客户端 引入了Sqoop server集中化管理connector,以及rest api,web,UI,并引入权限安全机制 部署 部署简单,安装需要...

2015/04/22 11:47
696
Hive操作语句的使用

#创建表人信息表 person(String name,int age) hive> create table person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ESCAPED BY '\\' STORED AS TEXTFILE; OK ...

2015/08/06 19:05
91
MapReduce V1:Job提交流程之JobClient端分析

我们基于Hadoop 1.2.1源码分析MapReduce V1的处理流程。 MapReduce V1实现中,主要存在3个主要的分布式进程(角色):JobClient、JobTracker和TaskTracker,我们主要是以这三个角色的实际处理...

2015/10/09 10:51
1.4K
Hive技术文档

Hive是什么? Hive是蜂房的意思,为什么hadoop上的这层数据仓库叫Hive? 因为生物学上蜂房是一个结构相当精良的建筑,取名Hive足见则个数据仓库在数据存储上也是堪称精良的。Hive是Facebook开...

2015/08/06 19:37
397
Hadoop1.0.4+Hbase0.94+zookeeper3.4.5+phoenix3.1.0

1. JDK安装 JDK解压配置环境变量 vi /etc/profile 2. 每台机器相关设置 1.设置静态ip(便于机器之间的通信,防止路由器电脑重启后,ip变化,导致不能通信) vim /etc/sysconfig/network-scr...

2015/05/06 15:04
711
HIVE的安装

首先在vi /etc/profile 配置hive的环境变量, 这是hive的元数据存储在mysql中,机器中必须先装有mysql数据库。当然也可以不配置元数据在mysql中的啦。 1) 在mysql里创建hive用户,并赋予其足够...

2015/04/22 11:44
59
hive配置参数说明

hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行) 默认值:true hive.exec.mode.local.auto.inputbytes.max 如果hive.exec.mode.local.au...

2015/04/22 17:44
100
spark wordcount—IDEA

1.首先在IDEA中,确认是否存在scala编译工具没有的话去官网下载http://www.scala-lang.org/,下面我们来用scala来写一个wordcount demo 在IDEA建立HelloWord项目,项目为scala项目,然后在建立...

2016/09/21 16:24
40
Apache Spark 的设计与实现(总体介绍)

概览 拿到系统后,部署系统是第一件事,那么系统部署成功以后, 各个节点都启动了哪些服务? 部署图 从部署图中可以看到 整个集群分为 Master 节点和 Worker 节点,相当于 Hadoop 的 Master...

2016/09/21 16:25
184
Hive使用update&delete操作

1.修改配置(hive-site.xml)也可以直接加入hive开头给予变量 hive.support.concurrency = true hive.enforce.bucketing = true hive.exec.dynamic.partition.mode = nonstrict hive.txn.mana...

2016/08/17 10:39
5.4K
spark伪分布式安装与测试

1、下载scala2.11.5版本,下载地址为:http://www.scala-lang.org/download/2.11.5.html 2、安装和配置scala: 第一步:上传scala安装包 并解压 第二步 配置SCALA_HOME环境变量到bash_profil...

2015/07/08 20:59
3.8K
HIVE与mysql的关系

Hive是一个基于Hadoop的数据仓库平台。通过hive,我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言:HQL,能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。 ...

2015/04/22 17:45
3.2K

没有更多内容

加载失败,请刷新页面

返回顶部
顶部