文档章节

hive 数据迁移SQL

f
 fly_xiang
发布于 2016/06/28 17:55
字数 416
阅读 162
收藏 2
点赞 0
评论 0
#!/bin/sh
. /etc/profile

workdir=$(dirname $0)
cd $workdir || exit 1

if [[ $# -eq 1 ]]; then
    startday=$(date +%Y%m%d -d "$1")
    endday=$startday
elif [[ $# -eq 2 ]]; then
    startday=$(date +%Y%m%d -d "$1")
    endday=$(date +%Y%m%d -d "$2")
else    
    startday=`date +%Y%m%d --date '-1 day'`
    endday=$startday
fi

while(($startday <= $endday)); do
    echo "==============================${startday}======================"

#insert overwrite table qyer.clean_track partition(logdate='$startday') select  user_id,unique_id,server_timestamp,session_timestamp,local_time,tz,ip,lon,lat,path,referer,type,category,ra_arg,os_browser,channel,ugc_type,platform,ugc_content,map(),refer_ugc_type,refer_ugc_content,'-',loghour,link_url,client_id,extra,map() from qyer.user_tracks where logdate='$startday';

hive -e  "
set mapreduce.job.maps=3;
set mapreduce.input.fileinputformat.split.minsize=330572800;
set mapreduce.input.fileinputformat.split.maxsize=330572800;
set mapreduce.map.output.compress=true;
set mapreduce.map.output.compress.codec=com.hadoop.compression.lzo.LzopCodec;
set mapreduce.output.fileoutputformat.compress=true;
set mapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzopCodec;
set hive.exec.compress.output=true;
set hive.exec.compress.intermediate=true;
use qyer;
alter table clean_track drop IF EXISTS partition (logdate='$startday');
insert overwrite  DIRECTORY '/flume/clean/track/$startday/' 
select  user_id,unique_id,server_timestamp,session_timestamp,local_time,tz,ip,lon,lat,path,referer,type,category,ra_arg,os_browser,channel,ugc_type,platform,ugc_content,map(),refer_ugc_type,refer_ugc_content,'-',loghour,link_url,client_id,extra,map() from qyer.user_tracks  where logdate='$startday' ;
ALTER TABLE clean_track add partition(logdate='$startday') location '/flume/clean/track/$startday/';
"

    if (($? != 0 )); then
    	echo "error occurs when deal with day ${startday}"
    	exit 1
    fi

    echo "==============================finished ${startday}======================"
    startday=$(date +%Y%m%d -d "$startday +1 days" )
done

hive使用map join:

hive -e "set hive.auto.convert.join=false;
set hive.ignore.mapjoin.hint=false;
select /*+ MAPJOIN(a) */ a.xid,b.id,b.platform,a.dora_id from (select xid,dora_id from qyer.xid_doraid where stat_date='20160530') a join (select if(user_id in ('0','-'),unique_id,user_id) as id,platform from qyer.clean_track where logdate='20160530' and loghour=9) b on a.xid=b.id" > 9.txt
查看文件大小
hadoop fs -du -s -h /hive/warehouse/qyer.db/user_tracks/*/logdate=20151008
hadoop dfs -ls -h /flume/clean/track/20130531/
hadoop dfs -setrep -R 2 /flume/clean/track/20151001

select logdate,count(1) from clean_track where logdate>='20130101' and logdate <='20130131' group by logdate
select logdate,count(1) from user_tracks where logdate>='20130101' and logdate <='20130131' group by logdate

hive 外部表 lzo压缩
create external table lzo_test(name string)
ROW FORMAT DELIMITED
  FIELDS TERMINATED BY '\001' COLLECTION ITEMS TERMINATED BY '\002' MAP KEYS TERMINATED BY '\003' LINES TERMINATED BY '\n'    
STORED AS INPUTFORMAT
  'com.hadoop.mapred.DeprecatedLzoTextInputFormat'  
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' 
 LOCATION '/flume/clean/lzo_test';

 

© 著作权归作者所有

共有 人打赏支持
f
粉丝 2
博文 44
码字总数 76735
作品 0
武汉
hive 数据迁移

设置默认需要导出的hive数据库 vi ~/.hiverc use logbase; 2. 创建数据临时目录 hdfs dfs -mkdir /tmp/hive-export 3.生成导出数据脚本 hive -e "show tables " | awk '{printf "export tabl......

jilson ⋅ 2015/08/27 ⋅ 0

HPL/SQL (Hive Hybrid Procedural SQL On Hadoop) --- 一个在Hive上执行过程SQL的工具

HPL / SQL是一种为Hive实现过程化SQL的工具。 从Hive 2.0.0(HIVE-11055)开始可用。 HPL/SQL对于Hive的意义,也就是PL/SQL对于Oracle的意义。 对于广大的数据开发者有以下几点福音 1.使用变...

Matthew.L ⋅ 06/08 ⋅ 0

SQL、NewSQL和NoSQL融合研究与实践

本文根据DBAplus社群第111期线上分享整理而成。 近几年,各类大数据技术迅猛发展,企业中数据处理量呈现几十到几百倍增长,数据类型也从传统结构化数据,延伸到实时流数据,以及各类非结构化...

朱祥磊 ⋅ 2017/07/06 ⋅ 0

Apache Hive 走向内存计算,性能提升26倍

Apache Hive 2.1已于几个月前发布,它引入了内存计算,这使得Hive计算性能得到极大提升,这将会影响SQL On Hadoop目前的竞争局面。据测试,其性能提高约26倍。 Apache Hive 2.1新引入了6大性...

王练 ⋅ 2016/11/01 ⋅ 17

Hive 入门介绍

1 Hive是什么 Hive是构建在Hadoop之上的数据仓库平台; Hive是一个SQL解析引擎,它将SQL语句转译成MapReduce任务,并在Hadoop上执行; Hive表是HDFS的一个文件目录,一个表名对应一个目录名,...

林中漫步 ⋅ 2016/07/13 ⋅ 0

将现有的SQL工作负载迁移至hadoop竟然如此简单!

想迁移现有的数据仓库到Hadoop平台?想在Hadoop上重用其他RDMBS的SQL技能?有何方案能帮助您解决这类问题,答案是IBM Big SQL。 Big SQL是IBM的SQL on Hadoop解决方案,它充分利用了IBM在RDB...

勿忘初心321 ⋅ 2016/08/25 ⋅ 0

hadoop2.7集群迁移namenode

我的hadoop集群是2.7.0的集群。 hadoop是机器不相关的,迁移namenode的话,可以按以下步骤迁移。 1、关闭所有hadoop集群、zookeeper、hive、hbase集群,设置hosts和ssh互信,调整服务器时间 ...

灵宝 ⋅ 2015/09/14 ⋅ 0

Apache Hive走向内存计算,性能提升26倍{转}

Apache Hive 2.1已于几个月前发布,它引入了内存计算,这使得Hive计算性能得到极大提升,这将会影响SQL On Hadoop目前的竞争局面。据测试,其性能提高约26倍。 Apache Hive 2.1新引入了6大性...

强子哥哥 ⋅ 2016/10/31 ⋅ 0

hive hbase区别

Hive是为了简化编写MapReduce程序而生的,使用MapReduce做过数据分析的人都知道,很多分析程序除业务逻辑不同外,程序流程基本一样。在这种情况下,就需要Hive这样的用戶编程接口。Hive本身不...

超人学院 ⋅ 2015/03/17 ⋅ 0

Hive Hbase区别 整理

Hive是为了简化编写MapReduce程序而生的,使用MapReduce做过数据分析的人都知道,很多分析程序除业务逻辑不同外,程序流程基本一样。在这种情况下,就需要Hive这样的用戶编程接口。Hive本身不...

李超 ⋅ 2015/04/17 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

zblog2.3版本的asp系统是否可以超越卢松松博客的流量[图]

最近访问zblog官网,发现zlbog-asp2.3版本已经进入测试阶段了,虽然正式版还没有发布,想必也不久了。那么作为aps纵横江湖十多年的今天,blog2.2版本应该已经成熟了,为什么还要发布这个2.3...

原创小博客 ⋅ 43分钟前 ⋅ 0

聊聊spring cloud的HystrixCircuitBreakerConfiguration

序 本文主要研究一下spring cloud的HystrixCircuitBreakerConfiguration HystrixCircuitBreakerConfiguration spring-cloud-netflix-core-2.0.0.RELEASE-sources.jar!/org/springframework/......

go4it ⋅ 今天 ⋅ 0

二分查找

二分查找,也称折半查找、二分搜索,是一种在有序数组中查找某一特定元素的搜索算法。搜素过程从数组的中间元素开始,如果中间元素正好是要查找的元素,则搜素过程结束;如果某一特定元素大于...

人觉非常君 ⋅ 今天 ⋅ 0

VS中使用X64汇编

需要注意的是,在X86项目中,可以使用__asm{}来嵌入汇编代码,但是在X64项目中,再也不能使用__asm{}来编写嵌入式汇编程序了,必须使用专门的.asm汇编文件来编写相应的汇编代码,然后在其它地...

simpower ⋅ 今天 ⋅ 0

ThreadPoolExecutor

ThreadPoolExecutor public ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliveTime, ......

4rnold ⋅ 昨天 ⋅ 0

Java正无穷大、负无穷大以及NaN

问题来源:用Java代码写了一个计算公式,包含除法和对数和取反,在页面上出现了-infinity,不知道这是什么问题,网上找答案才明白意思是负的无穷大。 思考:为什么会出现这种情况呢?这是哪里...

young_chen ⋅ 昨天 ⋅ 0

前台对中文编码,后台解码

前台:encodeURI(sbzt) 后台:String param = URLDecoder.decode(sbzt,"UTF-8");

west_coast ⋅ 昨天 ⋅ 0

实验楼—MySQL基础课程-挑战3实验报告

按照文档要求创建数据库 sudo sercice mysql startwget http://labfile.oss.aliyuncs.com/courses/9/createdb2.sqlvim /home/shiyanlou/createdb2.sql#查看下数据库代码 代码创建了grade......

zhangjin7 ⋅ 昨天 ⋅ 0

一起读书《深入浅出nodejs》-node模块机制

node 模块机制 前言 说到node,就不免得提到JavaScript。JavaScript自诞生以来,经历了工具类库、组件库、前端框架、前端应用的变迁。通过无数开发人员的努力,JavaScript不断被类聚和抽象,...

小草先森 ⋅ 昨天 ⋅ 0

Java桌球小游戏

其实算不上一个游戏,就是两张图片,不停的重画,改变ball图片的位置。一个左右直线碰撞的,一个有角度碰撞的。 左右直线碰撞 package com.bjsxt.test;import javax.swing.*;import j...

森林之下 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部