文档章节

oracle/hive数据互导

JPblog
 JPblog
发布于 2016/07/18 16:18
字数 142
阅读 25
收藏 0

Oracle -> hive

1.导出数据

sqluldr2.bin safe=yes user=ods/123456@TESTDB  query="SELECT code,name,sex,test,department,month_id,day_id  from ods.student  where  month_id='201509' and day_id='02'; "  log="/home/hadoop/pu_test/student_20150902.log"  field=0x01  ncharset="CHINESE_CHINA.ZHS16GBK" charset="UTF8"  file="/home/hadoop/pu_test/student_20150902.txt"

2.导入数据

 hive -e "use ods;load data local inpath '/home/hadoop/pu_test/student_20150902.txt' overwrite into table ODS.student  partition (monthid='201509',dayid='02') ;"

 

Hive -> oracle

1.导出数据

hive -e "select * from student" >> local/student.txt

2.编写控制文件

Insert.ctl:

load data

infile 'd:\zzz\student.txt'

append into table student

fields terminated by ','

(code,name,sex,test,department)

3.导入数据

sqlldr psbc/psbc control=/opt/impora/ Insert.ctl direct=true parallel=true

© 著作权归作者所有

共有 人打赏支持
JPblog
粉丝 11
博文 60
码字总数 37444
作品 0
朝阳
程序员
实现HBase与Hive之间数据互通互导

今天主要给大家讲解一下,如何使用Hive来查询及操作HBase里面的数据,也就是实现二者的数据互通互导。 首先不了解HBase的同学可以看一下我之前写过的一片博文: 一、那么看完之后我们先来简单...

马修
08/27
0
0
Sqoop1和Sqoop2简介

主要来源: http://www.linuxidc.com/Linux/2014-10/108337.htm 1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特...

强子哥哥
2015/12/23
792
0
使用pyspark模仿sqoop从oracle导数据到hive的主要功能(自动建表,分区导入,增量,解决数据换行符问题)

  最近公司开始做大数据项目,让我使用sqoop(1.6.4版本)导数据进行数据分析计算,然而当我们将所有的工作流都放到azkaban上时整个流程跑完需要花费13分钟,而其中导数据(增量)就占了4...

ZJ&Y
07/31
0
0
sqoop 完成与关系型数据库的互导

一.安装SQOOP后可使用如下命令列出mysql数据库中的所有数据库,与检验是否安装成功。 # sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456 ...

gulf
06/26
0
0
Sqoop 架构解析及Sqoop1与Sqoop2比较

概述 Sqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。它是用来从关系数据库如:MySQL,Oracle到Hadoop的HDFS,并从Hadoop的文件系统导出数据到关系数据库。 传统的应用管理系统,也...

PeakFang-BOK
10/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Docker Compose 原理

Docker 的优势非常明显,尤其是对于开发者来说,它提供了一种全新的软件发布机制。也就是说使用 docker 镜像作为软件产品的载体,使用 docker 容器提供独立的软件运行上下文环境,使用 dock...

Java干货分享
21分钟前
0
0
解决过滤器中设置cookie无效的问题

解决过滤器中设置cookie无效的问题 代码现场 filterChain.doFilter(sessionSyncRequestWrapper, response);Cookie emailCook = WebServletUtil.getSelectedCookie(request.getCookies(), ......

黄威
32分钟前
0
0
Hbase Schema 设计注意事项及最佳实践总结

一个列族的所有列在硬盘上存放在一起,使用这个特性可以把不同访问模式的列放在不同列族,以便隔离它们。这也是HBase被称为面向列族的存储(column-family-oriented store)的原因。 1、RowKe...

PeakFang-BOK
44分钟前
1
0
t-io给群组成员内置排序

1、实现比较器Comparator<ChannelContext> package xxx;import java.util.Comparator;import java.util.Objects;import java.util.Set;import java.util.TreeSet;import or......

talent-tan
48分钟前
2
0
px、em、rem 区别及作用

原文 起因: 一开始是为了解决页面放大时,字体不跟着放大的 bug。现在多用用于统一规范。 概念: 任意浏览器的默认字体高都是16px。所有未经调整的浏览器都符合: 1em=16px。那么12px=0.75em...

lemos
57分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部