文档章节

sqoop使用笔记

勿忘初心嘞
 勿忘初心嘞
发布于 2017/02/18 11:42
字数 410
阅读 32
收藏 2

sqoop安装:安装在一台节点上就可以了。

1.上传sqoop

2.安装和配置
    在添加sqoop到环境变量
    将数据库连接驱动拷贝到$SQOOP_HOME/lib里
3.使用
    第一类:数据库中的数据导入到HDFS上
        sqoop import --connect jdbc:mysql://192.168.1.10:3306/ldaye --username root --password 123  --table trade_detail --columns 'id, account, income, expenses'
        
        指定输出路径、指定数据分隔符
        sqoop import --connect jdbc:mysql://192.168.1.10:3306/ldaye --username root --password 123  --table trade_detail --target-dir '/sqoop/td' --fields-terminated-by '\t'
        
        指定Map数量 -m 
        sqoop import --connect jdbc:mysql://192.168.1.10:3306/ldaye --username root --password 123  --table trade_detail --target-dir '/sqoop/td1' --fields-terminated-by '\t' -m 2

        增加where条件, 注意:条件必须用引号引起来
        sqoop import --connect jdbc:mysql://192.168.1.10:3306/ldaye --username root --password 123  --table trade_detail --where 'id>3' --target-dir '/sqoop/td2' 

        增加query语句(使用 \ 将语句换行)
        sqoop import --connect jdbc:mysql://192.168.1.10:3306/ldaye --username root --password 123 \
--query 'SELECT * FROM trade_detail where id > 2 AND $CONDITIONS' --split-by trade_detail.id --target-dir '/sqoop/td3'
        
        注意:如果使用--query这个命令的时候,需要注意的是where后面的参数,AND $CONDITIONS这个参数必须加上
        而且存在单引号与双引号的区别,如果--query后面使用的是双引号,那么需要在$CONDITIONS前加上\即\$CONDITIONS
        如果设置map数量为1个时即-m 1,不用加上--split-by ${tablename.column},否则需要加上
        
    第二类:将HDFS上的数据导出到数据库中(不要忘记指定分隔符)
        sqoop export --connect jdbc:mysql://192.168.8.120:3306/ldaye --username root --password 123 --export-dir '/td3' --table td_bak -m 1 --fields-terminated-by ','
    
4.配置mysql远程连接
    GRANT ALL PRIVILEGES ON ldaye.* TO 'root'@'192.168.1.201' IDENTIFIED BY '123' WITH GRANT OPTION;
    FLUSH PRIVILEGES; 
    
    GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;
    FLUSH PRIVILEGES
    

© 著作权归作者所有

上一篇: zookeeper部署笔记
下一篇: hadoop远程调试
勿忘初心嘞
粉丝 8
博文 17
码字总数 15408
作品 0
深圳
程序员
私信 提问
Sqoop1和Sqoop2简介

主要来源: http://www.linuxidc.com/Linux/2014-10/108337.htm 1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特...

强子大叔的码田
2015/12/23
1K
0
使用sqoop将数据从mysql同步到hbase

--- sqoop 数据同步 hbase --- 使用sqoop将数据从mysql同步到hbase知识点-HBase初体验知识点-愉快地通过Thrift访问HBase知识点-HBaseClient(Java) > 目前机器使用的sqoop版本 > sqoop1.4.6文...

知了小巷
2017/12/16
0
0
基于Hadoop生态圈的数据仓库实践 —— ETL(一)

一、使用Sqoop抽取数据 1. Sqoop简介 Sqoop是一个在Hadoop与结构化数据存储(如关系数据库)之间高效传输大批量数据的工具。它在2012年3月被成功孵化,现在已是Apache的顶级项目。Sqoop有Sqo...

wzy0623
2016/07/01
0
0
Installing Sqoop2 On Oracle Linux 7.4

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系...

candon123
2017/12/20
0
0
Sqoop工具模块之sqoop-import-all-tables

sqoop-import-all-tables 一、介绍 import-all-tables工具将一组表从RDBMS导入到HDFS。来自每个表的数据存储在HDFS的单独目录中。 1、使用要求 要使import-all-tables工具有用,必须满足以下...

星汉
2018/06/12
246
0

没有更多内容

加载失败,请刷新页面

加载更多

DDD(五)

1、引言 之前学习了解了DDD中实体这一概念,那么接下来需要了解的就是值对象、唯一标识。值对象,值就是数字1、2、3,字符串“1”,“2”,“3”,值时对象的特征,对象是一个事物的具体描述...

MrYuZixian
11分钟前
0
0
数据库中间件MyCat

什么是MyCat? 查看官网的介绍是这样说的 一个彻底开源的,面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库,用来替代昂贵...

沉浮_
今天
4
0
解决Mac下VSCode打开zsh乱码

1.乱码问题 iTerm2终端使用Zsh,并且配置Zsh主题,该主题主题需要安装字体来支持箭头效果,在iTerm2中设置这个字体,但是VSCode里这个箭头还是显示乱码。 iTerm2展示如下: VSCode展示如下: 2...

HelloDeveloper
今天
6
0
常用物流快递单号查询接口种类及对接方法

目前快递查询接口有两种方式可以对接,一是和顺丰、圆通、中通、天天、韵达、德邦这些快递公司一一对接接口,二是和快递鸟这样第三方集成接口一次性对接多家常用快递。第一种耗费时间长,但是...

程序的小猿
今天
4
0
Python机器学习之数据探索可视化库yellowbrick

背景介绍 从学sklearn时,除了算法的坎要过,还得学习matplotlib可视化,对我的实践应用而言,可视化更重要一些,然而matplotlib的易用性和美观性确实不敢恭维。陆续使用过plotly、seaborn,...

yeayee
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部