文档章节

Sqoop介绍和使用(39)

肖鋭
 肖鋭
发布于 2014/04/11 21:46
字数 355
阅读 170
收藏 0

            Sqoop是一款开源的工具,主要用于Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递.

            Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:Mysql,Oracle,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中.

            Sqoop导入mysql数据库运行过程依赖mysql-connector-java-*.jar

            列出mysql数据库中的所有数据库

            sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password admin

            连接mysql并列出数据中的表

            sqoop list-tables --connect jdbc:mysql://localhost:3306/test --username root --password admin

            将关系型数据库的表结构复制到hive中,只是复制表的结构,表中的内容没有复制过去.

            sqoop create-hive-table --connect jdbc:msql://localhost:3306/test --table sqoop_test --username root --password admin

            使用sqoop把数据从rdbms导入到hdfs中

            sqoop import --connect jdbc:mysql://hadoop:3306/test --username root --password admin --table user --fields-terminated-by '\t' -m

            注意:test是数据库名称

            使用sqoop把数据从hdfs导出到mysql中

            sqoop export --connect jdbc:mysql://hadoop0:3306/test --username root --password admin --table user --fields-terminated-by '\t' --export-dir '/user/root/user'

            注意:/user/root/user下面有一个数据文件:sort里面的数据对于这数据库表中user的字段.

 

                                                                                                                    Name:Xr

                                                                                                                    Date:2014-04-11 21:46

© 著作权归作者所有

肖鋭
粉丝 10
博文 62
码字总数 29531
作品 0
朝阳
程序员
私信 提问
[Hadoop] Sqoop安装过程详解

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系...

长平狐
2013/06/03
139
0
[Hadoop] Sqoop安装过程详解

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系...

长平狐
2013/06/03
3.1K
0
长平狐 [Hadoop] Sqoop安装过程详解

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系...

cookqq
2014/01/04
207
0
Sqoop工具模块之sqoop-import-all-tables

sqoop-import-all-tables 一、介绍 import-all-tables工具将一组表从RDBMS导入到HDFS。来自每个表的数据存储在HDFS的单独目录中。 1、使用要求 要使import-all-tables工具有用,必须满足以下...

星汉
2018/06/12
286
0
大数据实验室(大数据基础培训)——Sqoop的安装、配置及基础使用

为某企业做的培训,完整文档见:http://gudaoxuri.github.io/bd-lab/ 12. Sqoop 官方文档:http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html 12.1. 安装 tar -zxf sqoop-1.4.6.binha......

孤岛旭日
2016/05/06
53
0

没有更多内容

加载失败,请刷新页面

加载更多

Docker 可视化管理 portainer

官网安装指南: https://portainer.readthedocs.io/en/latest/deployment.html docker-compose.yml 位置,下载地址:https://downloads.portainer.io/docker-compose.yml...

Moks角木
46分钟前
5
0
Spring Security 实战干货:必须掌握的一些内置 Filter

1. 前言 上一文我们使用 Spring Security 实现了各种登录聚合的场面。其中我们是通过在 UsernamePasswordAuthenticationFilter 之前一个自定义的过滤器实现的。我怎么知道自定义过滤器要加在...

码农小胖哥
49分钟前
7
0
常见分布式事务解决方案

1 微服务的发展 微服务倡导将复杂的单体应用拆分为若干个功能简单、松耦合的服务,这样可以降低开发难度、增强扩展性、便于敏捷开发。当前被越来越多的开发者推崇,很多互联网行业巨头、开源...

asdf08442a
49分钟前
3
0
influxdb continuous queries(cq)从入门到放弃

从前一篇influxdb的文章prometheus基于influxdb的监控数据持久化存储方案完成之后,就一直在折腾influxdb发布测试和生产环境的问题,经过接近2个月的验证,最终发现使用influxdb自带cq的方案...

狗陈
今天
7
0
7.线程通信

在现实生活中,如果一个人团队正在共同完成任务,那么他们之间应该有通信,以便正确完成任务。 同样的比喻也适用于线程。 在编程中,要减少处理器的理想时间,我们创建了多个线程,并为每个线...

Eappo_Geng
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部