文档章节

oracle/hive数据互导

JPblog
 JPblog
发布于 2016/07/18 16:18
字数 142
阅读 15
收藏 0
点赞 0
评论 0

Oracle -> hive

1.导出数据

sqluldr2.bin safe=yes user=ods/123456@TESTDB  query="SELECT code,name,sex,test,department,month_id,day_id  from ods.student  where  month_id='201509' and day_id='02'; "  log="/home/hadoop/pu_test/student_20150902.log"  field=0x01  ncharset="CHINESE_CHINA.ZHS16GBK" charset="UTF8"  file="/home/hadoop/pu_test/student_20150902.txt"

2.导入数据

 hive -e "use ods;load data local inpath '/home/hadoop/pu_test/student_20150902.txt' overwrite into table ODS.student  partition (monthid='201509',dayid='02') ;"

 

Hive -> oracle

1.导出数据

hive -e "select * from student" >> local/student.txt

2.编写控制文件

Insert.ctl:

load data

infile 'd:\zzz\student.txt'

append into table student

fields terminated by ','

(code,name,sex,test,department)

3.导入数据

sqlldr psbc/psbc control=/opt/impora/ Insert.ctl direct=true parallel=true

© 著作权归作者所有

共有 人打赏支持
JPblog
粉丝 10
博文 51
码字总数 27225
作品 0
朝阳
程序员
Sqoop1和Sqoop2简介

主要来源: http://www.linuxidc.com/Linux/2014-10/108337.htm 1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特...

强子哥哥 ⋅ 2015/12/23 ⋅ 0

Sqoop介绍和使用(39)

Sqoop是一款开源的工具,主要用于Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递. Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数...

肖鋭 ⋅ 2014/04/11 ⋅ 0

京东大数据工程师教你怎样用Sqoop

Sqoop是什么 Sqoop:SQL-to-Hadoop 连接 传统关系型数据库 和 Hadoop 的桥梁 把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS HBase 和 Hive) 中; 把数据从 Hadoop 系统里抽取并导出到关...

JAVA丶学习 ⋅ 04/16 ⋅ 0

hadoop生态圈的详解

学习和使用hadoop有一年了,这里主要分享一下对hadoop整体上的理解,分门别类的介绍一下相关组件,最后提供了建议的学习路线,希望对hadoop的初学者有参考作用。 1. Hadoop核心件组有哪些? 广...

cpaqyx ⋅ 2017/06/25 ⋅ 0

20180611早课记录28-Sqoop

1.sqoop是什么? 主要用于在Hadoop与RDBMS间进行数据的传递 2.sqoop分为哪两个分支,各最新版本是什么? sqoop1:1.4.7 sqoop2:1.99.7 3.在工作中我们用的最多的是sqoop1,那么导入和导出,谁...

wangkunj ⋅ 06/11 ⋅ 0

DBMS的空间扩展

DBMS提供空间扩展早已不是什么新鲜事,从ORACLE 7.1.6到DB2 UDB Version 8.2,现在微软也按耐不住,将在SqlServer 2008所有版本(Express/Workgroup/Standard/Enterprise)中提供对空间数据类...

文艺小青年 ⋅ 2017/06/29 ⋅ 0

hadoop 统计分析oracle数据库的数据

最近要做个应用功能的探讨,把oracle的大量数据分布式统计分析。。查了几天资料,有些说使用sqoop导出oracle数据为hdfs文件,但是文件名却不能指定,到时候mapreduce统计分析的时候怎么读取指...

黑帽子 ⋅ 2014/05/16 ⋅ 2

SQL、NewSQL和NoSQL融合研究与实践

本文根据DBAplus社群第111期线上分享整理而成。 近几年,各类大数据技术迅猛发展,企业中数据处理量呈现几十到几百倍增长,数据类型也从传统结构化数据,延伸到实时流数据,以及各类非结构化...

朱祥磊 ⋅ 2017/07/06 ⋅ 0

Hadoop家族学习路线图

权声明:本文为博主原创文章,未经博主允许不得转载。 目录(?)[+] 主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增...

_Mr_Computer_ ⋅ 2016/07/13 ⋅ 0

字符集转换问题,一个环境到另一个环境数据的字符集会不会转变

各位大神想请教一个问题,就是现在oracle的字符集是US7ASCII,hive的元数据编码为utf,现在将数据使用sqoop导入到hive后中文乱码,我想请教一下,导入后数据的字符集就改变成了utf,还是说只...

aggregated_data ⋅ 2015/12/03 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Spring发展历程总结

转自与 https://www.cnblogs.com/RunForLove/p/4641672.html 目前很多公司的架构,从Struts2迁移到了SpringMVC。你有想过为什么不使用Servlet+JSP来构建Java web项目,而是采用SpringMVC呢?...

onedotdot ⋅ 32分钟前 ⋅ 0

Python模块/包/库安装(6种方法)

Python模块/包/库安装(6种方法) 冰颖机器人 2016-11-29 21:33:26 一、方法1: 单文件模块 直接把文件拷贝到 $python_dir/Lib 二、方法2: 多文件模块,带setup.py 下载模块包(压缩文件zip...

cswangyx ⋅ 52分钟前 ⋅ 0

零基础学习大数据人工智能,学习路线篇!系统规划大数据之路?

大数据处理技术怎么学习呢?首先我们要学习Python语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。 Python:Python 的排名从去年开始就借助人工智能持续上升,现在它已经...

董黎明 ⋅ 今天 ⋅ 0

openJdk和sun jdk的区别

使用过LINUX的人都应该知道,在大多数LINUX发行版本里,内置或者通过软件源安装JDK的话,都是安装的OpenJDK, 那么到底什么是OpenJDK,它与SUN JDK有什么关系和区别呢? 历史上的原因是,Ope...

jason_kiss ⋅ 今天 ⋅ 0

梳理

Redux 是 JavaScript 状态容器,提供可预测化的状态管理。 它是JS的状态容器,是一种解决问题的方式,所以即可以用于 react 也可以用于 vue。 需要理解其思想及实现方式。 应用中所有的 stat...

分秒 ⋅ 今天 ⋅ 0

Java 后台判断是否为ajax请求

/** * 是否是Ajax请求 * @param request * @return */public static boolean isAjax(ServletRequest request){return "XMLHttpRequest".equalsIgnoreCase(((HttpServletReques......

JavaSon712 ⋅ 今天 ⋅ 0

Redis 单线程 为何却需要事务处理并发问题

Redis是单线程处理,也就是命令会顺序执行。那么为什么会存在并发问题呢? 个人理解是,虽然redis是单线程,但是可以同时有多个客户端访问,每个客户端会有 一个线程。客户端访问之间存在竞争...

码代码的小司机 ⋅ 今天 ⋅ 0

到底会改名吗?微软GVFS 改名之争

微软去年透露了 Git Virtual File System(GVFS)项目,GVFS 是 Git 版本控制系统的一个开源插件,允许 Git 处理 TB 规模的代码库,比如 270 GB 的 Windows 代码库。该项目公布之初就引发了争...

linux-tao ⋅ 今天 ⋅ 0

笔试题之Java基础部分【简】【二】

1.静态变量和实例变量的区别 在语法定义上的区别:静态变量前要加static关键字,而实例变量前则不加。在程序运行时的区别:实例变量属于某个对象的属性,必须创建了实例对象,其中的实例变...

anlve ⋅ 今天 ⋅ 0

Lombok简单介绍及使用

官网 通过简单注解来精简代码达到消除冗长代码的目的 优点 提高编程效率 使代码更简洁 消除冗长代码 避免修改字段名字时忘记修改方法名 4.idea中安装lombnok pom.xml引入 <dependency> <grou...

to_ln ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部