文档章节

Sqoop的导入导出案例

i_bobby
 i_bobby
发布于 2016/09/23 16:50
字数 305
阅读 50
收藏 2
[root@master2 script]# cat run_waterheater_heattime.sh 
#!/bin/bash

#if [ x$1 = x ]
#then
#    echo '请输入当前日期格式为%Y%m%d';
#    exit 0;
#fi

today=`date -d '1 day ago' +"%Y%m%d"`
echo $today

#export greenplum data to hdfs
hdfs dfs -rm -R /user/root/waterheater-data/source/heat-time/$today
sqoop import  \
--connect jdbc:postgresql://host:port/haieredw \
--username fuck \
--password fuck \
--query "SELECT devicetype,fmacid,fts,ftime from (SELECT '06001001'::varchar as devicetype,fmacid,fts,ftime from waterheater.amb_06001001_status_16 where f60600t='306001' and dayid = $today and \$CONDITIONS group by fmacid,fts,ftime UNION ALL SELECT '06002001'::varchar as devicetype,fmacid,fts,ftime from waterheater.amb_06002001_status_16 where f60f004='30f0S1' and dayid = $today and \$CONDITIONS group by fmacid,fts,ftime UNION ALL SELECT '06004001'::varchar as devicetype,fmacid,fts,ftime from waterheater.amb_06004001_status_16 where f60600t='306001' and dayid = $today and \$CONDITIONS group by fmacid,fts,ftime UNION ALL SELECT '06005001'::varchar as devicetype,fmacid,fts,ftime from waterheater.amb_06005001_status_16 where f60607qq='306001' and dayid = $today and \$CONDITIONS group by fmacid,fts,ftime UNION ALL SELECT '06006001'::varchar as devicetype,fmacid,fts,ftime from waterheater.amb_06006001_status_16 where f60600t='306001' and dayid = $today and \$CONDITIONS group by fmacid,fts,ftime) v order by fts"  \
--fields-terminated-by ','  \
--split-by 'fmacid' \
--target-dir /user/root/waterheater-data/source/heat-time/$today

#calculate heattime biz...
hdfs dfs -rm -R /user/root/waterheater-data/out/heat-time/$today
hadoop jar ../executable/apidocs-0.0.1-SNAPSHOT-jar-with-dependencies.jar com.ilifang.samples.bigdata.apidocs.App -D dayid=$today /user/root/waterheater-data/source/heat-time/$today /user/root/waterheater-data/out/heat-time/$today

#import data to greenplum
sqoop export \
--connect 'jdbc:postgresql://host:port/haieredw' \
--username fuck \
--password fuck \
--table heat_time_tmp \
--fields-terminated-by ',' \
--export-dir /user/root/waterheater-data/out/heat-time/$today \
--columns "devicetype,day_id,mac,dayhour,time" \
-- --schema waterheater

echo 'hahah...'

 

© 著作权归作者所有

i_bobby
粉丝 11
博文 53
码字总数 22898
作品 0
西安
程序员
私信 提问
大数据教程(13.5)sqoop数据迁移工具安装&简单导入实例

上一篇章节,介绍了azkaban的几个实战案例;本篇博客博主将为小伙伴们分享数据迁移工具sqoop的安装来帮助熟悉其使用。 一、概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数...

em_aaron
03/18
48
2
sqoop与hbase导入导出数据

环境:sqoop1.4.6+hadoop2.6+hbase1.1+mysql5.7 说明: 1.文中的导入导出的表结构借鉴了网上的某篇博客 2.mysql导入hbase可以直接通过sqoop进行 3.hbase导出到mysql无法直接进行,需要经过h...

thinkpadshi
2017/08/28
0
0
[大数据之Sqoop] —— Sqoop初探

Sqoop是一款用于把关系型数据库中的数据导入到hdfs中或者hive中的工具,当然也支持把数据从hdfs或者hive导入到关系型数据库中。 Sqoop也是基于Mapreduce来做的数据导入。 关于sqoop的原理 sq...

青夜之衫
2017/12/05
0
0
大数据教程(13.6)sqoop使用教程

上一章节,介绍了sqoop数据迁移工具安装以及简单导入实例的相关知识;本篇博客,博主将继续为小伙伴们分享sqoop的使用。 一、sqoop数据导入 (1)、导入关系表到HIVE 执行报错 再次执行,报错之...

em_aaron
03/18
163
0
Sqoop 架构解析及Sqoop1与Sqoop2比较

概述 Sqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。它是用来从关系数据库如:MySQL,Oracle到Hadoop的HDFS,并从Hadoop的文件系统导出数据到关系数据库。 传统的应用管理系统,也...

PeakFang-BOK
2018/10/12
580
0

没有更多内容

加载失败,请刷新页面

加载更多

一起来学Java8(四)——复合Lambda

在一起来学Java8(二)——Lambda表达式中我们学习了Lambda表达式的基本用法,现在来了解下复合Lambda。 Lambda表达式的的书写离不开函数式接口,复合Lambda的意思是在使用Lambda表达式实现函...

猿敲月下码
31分钟前
9
0
debian10使用putty配置交换机console口

前言:Linux的推广普及,需要配合解决实际应用方能有成效! 最近强迫自己用linux进行实际工作,过程很痛苦,还好通过网络一一解决,感谢各位无私网友博客的帮助! 系统:debian10 桌面:xfc...

W_Lu
今天
10
0
aelf Enterprise 0.8.0 beta有奖公测,“Bug奖金计划”重磅开启

2019年9月30日,aelf Enterprise 0.8.0 beta版正式发布。aelf Enterprise 0.8.0 beta是一个完备的区块链系统, 包含完备的区块链系统、开发套件、开发文档、以及配套的基础应用和基础服务。 ...

AELF开发者社区
今天
10
0
oracle 初始化数据库脚本

create user lpf identified by 123456; create tablespace lpf_ts_cms datafile '/opt/app/oracle/product/11.2.0/lpf.dbf' size 200M; alter user lpf default tablespace lpf_ts_cms; sel......

internetafei
今天
8
0
深入了解Redis底层数据结构

说明 说到Redis的数据结构,我们大概会很快想到Redis的5种常见数据结构:字符串(String)、列表(List)、散列(Hash)、集合(Set)、有序集合(Sorted Set),以及他们的特点和运用场景。不过它们是...

TurboSanil
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部