加载中
HIVE 常见错误

参考之前的hive测试步骤一一执行。 hive> drop table sansom; FAILED: Error in metadata: org.apache.thrift.transport.TTransportException FAILED: Execution Error, return code 1 from ...

2015/08/05 10:34
122
spark伪分布式安装与测试

1、下载scala2.11.5版本,下载地址为:http://www.scala-lang.org/download/2.11.5.html 2、安装和配置scala: 第一步:上传scala安装包 并解压 第二步 配置SCALA_HOME环境变量到bash_profil...

2015/07/08 20:59
3.9K
HBASE-HIVE集成

一、准备环境 前提条件已经安装好了hbase,hive 检测hive/lib目录下是否含有:hive-hbase-handler-版本.jar(通过此文件和hbase通信) 二、拷贝文件 进入hbase的lib目录下,拷贝如下文件到:h...

2015/07/06 17:28
121
Flume配置文件(flume-site.conf)

1、 watchdog watchdog.restarts.max watchdog每分钟重启的最大数??? 2、 common node flume.config.heartbeat.period node发送心跳周期,默认5000(毫秒) flume.node.status.port node web端口...

2015/07/06 17:25
678
flume基本配置详情

############################################ # producer config ############################################ #agent section producer.sources = s producer.channels = c c1 c2 produ...

2015/07/06 17:24
169
Hbase原理以及基本运行方式和优化

HBase是一个构建在HDFS上的分布式列存储系统; HBase是基于Google BigTable模型开发的,典型的key/value系统; HBase是Apache Hadoop生态系统中的重要一员,主要用于海量非结构化数据存储; ...

2015/07/06 17:19
2.6K
hadoop异常记录

下面遇到问题,提供了一些解决办法,希望有所帮助 1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 这是reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上...

2015/05/16 11:42
396
Hadoop1.0.4+Hbase0.94+zookeeper3.4.5+phoenix3.1.0

1. JDK安装 JDK解压配置环境变量 vi /etc/profile 2. 每台机器相关设置 1.设置静态ip(便于机器之间的通信,防止路由器电脑重启后,ip变化,导致不能通信) vim /etc/sysconfig/network-scr...

2015/05/06 15:04
711
HIVE与mysql的关系

Hive是一个基于Hadoop的数据仓库平台。通过hive,我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言:HQL,能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。 ...

2015/04/22 17:45
3.3K
hive配置参数说明

hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行) 默认值:true hive.exec.mode.local.auto.inputbytes.max 如果hive.exec.mode.local.au...

2015/04/22 17:44
100
Hadoop中HDFS的工作原理

HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。 HDFS有很多特点: ① 保存...

2015/04/22 17:42
482
MapReduce工作原理图文详解

1.MapReduce作业运行流程 下面贴出我用visio2010画出的流程示意图: 流程分析: 1.在客户端启动一个作业。 2.向JobTracker请求一个Job ID。 3.将运行作业所需要的资源文件复制到HDFS上,包括...

2015/04/22 17:39
58
通过hiveserver远程服务构建hive web查询分析工具

(1)hive 三种启动方式及用途,本文主要关注通过hiveserver(可jdbc连接)的方式启动 1, hive 命令行模式,直接输入/hive/bin/hive的执行程序,或者输入 hive --service cli 用于linux平台...

2015/04/22 11:56
3.6K
sqoop数据迁移

1.Sqoop1与Sqoop2的优缺点 比较 Sqoop1 Sqoop2 架构 仅仅使用一个Sqoop客户端 引入了Sqoop server集中化管理connector,以及rest api,web,UI,并引入权限安全机制 部署 部署简单,安装需要...

2015/04/22 11:47
701
HIVE的安装

首先在vi /etc/profile 配置hive的环境变量, 这是hive的元数据存储在mysql中,机器中必须先装有mysql数据库。当然也可以不配置元数据在mysql中的啦。 1) 在mysql里创建hive用户,并赋予其足够...

2015/04/22 11:44
65
hadoop完全分布式

本文是将三台电脑用路由器搭建本地局域网,系统为centos6.5,已经实验验证,搭建成功。 一、设置静态IP&修改主机名&关闭防火墙(all-root)(对三台电脑都需要进行操作) 0.将三台电脑安装cen...

2015/04/22 11:37
40
hadoop伪分布式搭建

1. 环境搭建 搭建测试环境所需的软件包括:jdk1.6.0_20、hadoop-1.0.4.tar.gz。测试服务器操作系统Linux Cent OS 5.5。 网上说使用专门的用户hadoop操作,但是这里我是全使完用的root,方便而...

2015/04/22 11:35
141
什么是生产者消费者模式

什么是生产者消费者模式 在工作中,大家可能会碰到这样一种情况:某个模块负责产生数据,这些数据由另一个模块来负责处理(此处的模块是广义的,可以是类、函数、线程、进程等)。产生数据的...

2015/03/28 14:52
605
redis操作命令

http://redisdoc.com/ 一、Key   Key命令速查: 命令 说明 DEL 删除给定的一个或多个 key,不存在的 key 会被忽略,返回值:被删除 key 的数量 DUMP 序列化给定 key,返回被序列化的值,使...

2015/03/27 14:20
283
redis连接池

public final class RedisUtil { //Redis服务器IP private static String ADDR = "192.168.0.100"; //Redis的端口号 private static int PORT = 6379; //访问密码 private static String AU...

2015/03/25 15:25
2.3K

没有更多内容

加载失败,请刷新页面

返回顶部
顶部