加载中
Hive Transaction 事务性 小试

提到Hive一般都会想到,Hive是数据仓库,支持类SQL查询,有很多语法支持,可以嵌套MR,写Transform、写UDF/UDAF等,但是,不支持更新操作。所以Hive的常见也一般都是一次写入,频繁读取。从H...

2016/07/14 18:28
9.7K
hive利器 自定义UDF+重编译hive

用hive也有一段时间里,不过一直没写过相关到日志,因为主要用hive也无非是create table,upload data,CRUD 这几个过程。后来工作中需要用到一些常用到方法,了解到hive中支持UDF(User Defi...

2012/06/28 18:52
4.1K
Hive 数据导入HBase的2种方法详解

Hive数据导入到HBase基本有2个方案: 1、HBase中建表,然后Hive中建一个外部表,这样当Hive中写入数据后,HBase中也会同时更新 2、MapReduce读取Hive数据,然后写入(API或者Bulkload)到HBa...

在Ubuntu10.10中安装HIVE

参照:http://wadefall.iteye.com/blog/1204286 一路配置下来没发现什么问题,然后就是利用HIVE跑SQL,执行和第一个Map/Reduce相符的程序了。 1.创建表 create table packCount (userinfo S...

2012/02/23 18:02
261
HIVE默认分区导致 Hive Internal Error: java.lang.NullP...

一条HIVE SQL抛出了异常: select sessidmodex(sessid, 10),count(*),count(distinct sessid),count(distinct visitip) from visitlogs where ((dt='2012-11-14' and vhour>=13) or (dt='20...

Hive 分组 Limit 非UDF方案

其实前一篇的Mysql 小技巧中having min()的方法是为了本篇准备的。但是当时遇到南墙,这次终于破壁找到方案。 描述: id (自增),type (aaa, bbb,ccc ,ddd),status(ok,error) 三个字段,每个t...

2013/09/16 11:42
2.7K
HBTC2012 参会感受

2012年11月30日,为期两天的 HBTC——Hadoop & BigData Technology Conference 如期举行。这是我第一次参加这种盛会。大会主持人介绍HBTC的前身是中国云计算开发者大会。开场前我大概看了看参...

2012/12/12 10:43
105
Python 简单的统计基类,同名变量和字符串的使用

Python 简单的统计基类,同名变量和字符串的使用,eval和exec

hive 常用小技巧

平常用的一些东西,懒得整理了,先这么着吧、

2014/05/12 19:30
2.4K
Hive 万恶的下划线 -- load数据时指定的文件不要以下划线开头

简述:hive load数据时,文件的命名不要以_开头。 1. 先看下要导入的文件,\t 分割。 cat /tmp/_load.csv 1  aaa  ok 2  aaa  error 3  aaa  ok 4  bbb  ok 5  ccc  error 6  ccc  ok 7  ddd  err...

hive transform 纠结的前行

1. 编写脚本 1 #!/usr/bin/python 2 import sys 3 from sessionutil import get_channel, from_sub_get_channel 4 5 for line in sys.stdin: 6 line = line.strip() 7 sessid, session_day,...

Pig 读书笔记 + 工作总结(干货很多)

个人的Pig使用总结,参考了Hadoop权威指南,Programming Pig 和工作中的使用和遇到的问题的总结,重点注意的文中有字号和颜色的标注。持续更新,干货很多。

2014/05/19 12:51
2.3K
关于开源项目《Scavenger》

开源项目《Scavenger》简介。 Scavenge中文名清道夫,名字就是来源于清道夫鱼。负责Hadoop集群中Job的监控,清洗和报告。

Apache Sentry 第一弹:Server启动、连接Hue、分组详解

关于sentry的配置,启动,连接hue,以及中间遇到的坑(分组、数据库)

《前言 :一个典型的大数据平台架构》

上学的时候老师一直将,好记性不如赖笔头。工作4年半,4年大数据工作经验,一直都是林林总总的写些文章,没有一个体系化的梳理。在进入第5年之前,把大数据相关的知识和经验做一个梳理,也是...

Centos 安装Hue

centos 部署hue,httpfs、hive、hbase配置参考

2015/06/11 23:36
1K
hive UDF 分享 通过IP地址获取 IDC/省份/城市

hive UDF 分享 通过IP地址获取IDC//省份/城市的信息

From Hive To PIG 的工作日志

============基础===================== 1.载入原始数据:select from XXX ===> LOG = LOAD '/user/hive/....../$date' USING PigStorage('\t') AS (AA:int, BB:int, CC:chararray, DD:chara...

2012/09/30 12:15
157
在Ubuntu10.10中使用hadoop

这是21号和今天的工作日志: 14:26 2012-2-21 #1.安装VMWare7.1.4(可以自动联网,不用自己设置) 序列号:UF1W2-DCXDK-48ENY-TDNGG-MG0V2 #2.安装Ubuntu10.10 #3.在Ubuntu中安装JDK 1.下载j...

2012/02/22 17:31
644
【转】hive数据倾斜总结

hive数据倾斜总结

2014/06/19 10:42
181

没有更多内容

加载失败,请刷新页面

返回顶部
顶部