文档章节

oracle/hive数据互导

JPblog
 JPblog
发布于 2016/07/18 16:18
字数 142
阅读 32
收藏 0

Oracle -> hive

1.导出数据

sqluldr2.bin safe=yes user=ods/123456@TESTDB  query="SELECT code,name,sex,test,department,month_id,day_id  from ods.student  where  month_id='201509' and day_id='02'; "  log="/home/hadoop/pu_test/student_20150902.log"  field=0x01  ncharset="CHINESE_CHINA.ZHS16GBK" charset="UTF8"  file="/home/hadoop/pu_test/student_20150902.txt"

2.导入数据

 hive -e "use ods;load data local inpath '/home/hadoop/pu_test/student_20150902.txt' overwrite into table ODS.student  partition (monthid='201509',dayid='02') ;"

 

Hive -> oracle

1.导出数据

hive -e "select * from student" >> local/student.txt

2.编写控制文件

Insert.ctl:

load data

infile 'd:\zzz\student.txt'

append into table student

fields terminated by ','

(code,name,sex,test,department)

3.导入数据

sqlldr psbc/psbc control=/opt/impora/ Insert.ctl direct=true parallel=true

© 著作权归作者所有

共有 人打赏支持
上一篇: 1)hadoop集群搭建
下一篇: spark RDD持久化
JPblog
粉丝 13
博文 64
码字总数 40732
作品 0
朝阳
程序员
私信 提问
Sqoop1和Sqoop2简介

主要来源: http://www.linuxidc.com/Linux/2014-10/108337.htm 1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特...

强子哥哥
2015/12/23
792
0
实现HBase与Hive之间数据互通互导

今天主要给大家讲解一下,如何使用Hive来查询及操作HBase里面的数据,也就是实现二者的数据互通互导。 首先不了解HBase的同学可以看一下我之前写过的一片博文: 一、那么看完之后我们先来简单...

马修
08/27
0
0
sqoop 完成与关系型数据库的互导

一.安装SQOOP后可使用如下命令列出mysql数据库中的所有数据库,与检验是否安装成功。 # sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456 ...

gulf
06/26
0
0
使用pyspark模仿sqoop从oracle导数据到hive的主要功能(自动建表,分区导入,增量,解决数据换行符问题)

  最近公司开始做大数据项目,让我使用sqoop(1.6.4版本)导数据进行数据分析计算,然而当我们将所有的工作流都放到azkaban上时整个流程跑完需要花费13分钟,而其中导数据(增量)就占了4...

ZJ&Y
07/31
0
0
Oracle/Hive/Impala SQL比较

5 Function 指数据库内置的function,不讨论UDF。另外,操作符都不比较了,区别不大。 5.1 数学函数 功能 Oracle Hive Impala ABS 绝对值,有 有 有 SIN/SINH/ASIN/COS/COSH/ACOS/TAN/TANH/A...

hblt-j
2017/10/28
0
0

没有更多内容

加载失败,请刷新页面

加载更多

如何解决 homebrew 更新慢的问题

之前一直困扰于 Homebrew 的更新速度,曾试过修改更新源(清华、中科大等)的方式,但是并没什么卵用;也试过设置 curl 代理的方式,但是 brew 走的好像不是 curl 的方式,所以也没用。 通过...

whoru
14分钟前
0
0
TiDB EcoSystem Tools 原理解读系列(二)TiDB-Lightning Toolset 介绍

简介 TiDB-Lightning Toolset 是一套快速全量导入 SQL dump 文件到 TiDB 集群的工具集,自 2.1.0 版本起随 TiDB 发布,速度可达到传统执行 SQL 导入方式的至少 3 倍、大约每小时 100 GB,适合...

TiDB
16分钟前
0
0
【Visual Studio 扩展工具】如何在ComponentOneFlexGrid树中显示RadioButton

概述 在ComponentOne Enterprise .NET控件集中,FlexGrid表格控件是用户使用频率最高的控件之一。它是一个功能强大的数据管理工具,轻盈且灵动,以分层的形式展示数据(数据呈现更加直观)。...

葡萄城技术团队
18分钟前
0
0
Maven环境隔离

Maven环境隔离 1. 什么是Maven环境隔离 顾名思义,Maven环境隔离就是将开发中的环境与beat环境、生产环境分隔开,方便进行开发和维护。这个在实际项目中用的还是很多的,如果你的项目用的Mav...

蚂蚁-Declan
18分钟前
1
0
day182-2018-12-19-英语流利阅读-待学习

“性感”时代已去,维密将如何转身? Daniel 2018-12-19 1.今日导读 维多利亚的秘密(Victoria's Secret)这个内衣品牌,最近似乎步入了“中年危机”——曾经打遍天下的“性感”内衣,在主打...

飞鱼说编程
18分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部