文档章节

Sqoop官方文档翻译1

强子1985
 强子1985
发布于 2015/12/29 14:11
字数 1959
阅读 144
收藏 0

7.2.4. Controlling Parallelism

Sqoop从大多数数据库源并行导入数据。
可以指定map任务的个数,这可以通过-m或者--num-mappers参数。
每个参数带一个整数---并发度。
默认的,4个并发度。
有一些数据库可以调整到8或者16会有更好地表现。
不要将这个数字超过mr集群的最大值,
任务一个接一个执行,有可能增加等待时间。
同样的,也不要增加数据库服务器能支持的最大并发数,
100个客户端可能会严重降低数据库的性能。

当执行并行导入时,sqoop需要一个标准来分区。
sqoop使用一个列来分区。
默认的,sqoop将使用主键列来分区。
低值和高值将从数据库里查询出来,map任务执行一个划分。
比如,如果有一个表格,有一个主键列id. 最小值0,最大值1000.
sqoop默认使用4个任务,sqoop将启动4个进程,每个进程执行如下所示的SQL.
SELECT * FROM sometable WHERE id >= lo AND id < hi, with (lo, hi) set to (0, 250), (250, 500), (500, 750), and (750, 1001)

如果值不是均匀分布,就会导致不均衡工作。此时可以考虑换一个列,通过 --split-by参数,
比如:--split-by employee_id
sqoop不支持多列。
如果表格没有索引列,或者有一个组合索引,需要手动选择一个列。

7.2.5. Controlling the Import Process

导入过程将使用JDBC.
有一些数据库可以使用自己的高速数据移动工具。
比如,mysql提供mysqldump工具,这个工具可以从mysql导出数据到其它系统。

通过指定--direct参数,sqoop就会尝试直接导入。效率比直接使用jdbc快。
目前,direct模式不支持导入大对象列,
 
当从postgresql导入且用direct模式时,每个文件可以指定最大大小,用--direct-split-size参数指定.


默认的,sqoop将导入表格foo到foo文件夹[HDFS]。
比如,如果用户名是someuser,那么数据就会导入到/user/someuser/foo/(files)

你可以调整父目录,通过--warehouse-dir参数。

$ sqoop import --connnect <connect-str> --table foo --warehouse-dir /shared \
    ...
这个命令就会导致文件写入到文件夹/shared/foo/ directory.

也可以显式的选择目标目录,比如:
$ sqoop import --connnect <connect-str> --table foo --target-dir /dest \
    ...
这样就会导入文件到/dest文件夹, --target-dir 不能和 --warehouse-dir一起使用。

当使用direct模式,可以指定额外的参数给工具。

如果参数--在命令行里指定,后面的参数就直接发给工具。
比如:下面的命令指定编码方式
$ sqoop import --connect jdbc:mysql://server.foo.com/db --table bar \
    --direct -- --default-character-set=latin1
默认的,如果目标文件夹已经在HDFS里存在了,sqoop将拒绝导入或者拒绝覆盖。
可以使用--append参数,sqoop将导入数据到一个临时的目录,
然后重命名文件到正常的目标文件夹里来避免冲突。

7.2.6. Controlling type mapping

Sqoop预先配置来映射大多数SQL类型到合适的java/hive对象。
尽管如此,默认的映射可能不是对所有人都合适,
可以通过--map-column-java来覆盖,或者通过--map-column-hive (for changing Hive mapping).

Table 4. Parameters for overriding mapping
Argument  Description
--map-column-java <mapping>  Override mapping from SQL to Java type for configured columns.
--map-column-hive <mapping>  Override mapping from SQL to Hive type for configured columns.

Sqoop希望是逗号隔开的映射列表<name of column>=<new type>
比如:
$ sqoop import ... --map-column-java id=String,value=Integer
Sqoop将报异常如果一些配置的映射没有被使用。

7.2.7. Incremental Imports[增量导入]

Sqoop提供一个增量导入模式,用来检索新生成的行。
下面的参数控制增量导入:
Table 5. Incremental import arguments:
Argument  Description
--check-column (col)  Specifies the column to be examined when determining which rows to import. (the column should not be of type CHAR/NCHAR/VARCHAR/VARNCHAR/ LONGVARCHAR/LONGNVARCHAR)
--incremental (mode)  Specifies how Sqoop determines which rows are new. Legal values for mode include append and lastmodified.
--last-value (value)  Specifies the maximum value of the check column from the previous import.

Sqoop支持两种类型的增量导入: 追加模式,最后修改模式。
可以使用--incremental参数来指定要执行的模式。

当导入表格时,这个表格不断增加行,行的id不断增加,此时应该指定append模式,
指定包含row的id的列,这是通过 --check-column参数
Sqoop导入行(行的id的值大于参数--last-value)
 

另外一个就是支持lastmodified模式,什么情况下使用这种模式?
表格的数据可能会被更新,每次修改都会更新last-modified列为当前时间戳。
列的值比--last-value指定的值新的列将会被导入。

增量模式导入的最后,--last-value的值会打印到屏幕上。
当执行连续的导入,需要指定--last-value来保证新数据。
这个会被自动处理,也是推荐模式。

7.2.8. File Formats

可以导入数据以2种模式:
1)文本文件 2)SequenceFiles

Delimited text是默认的文件导入格式
可以通过参数--as-textfile来指定
这个参数将写字符串到文件里,一行一个文件,列之间有分隔符,可以是逗号,\t,或者其它字符

下面的是一个例子:
1,here is a message,2010-05-01
2,happy new year!,2010-01-01
3,another message,2009-11-12
这种格式对大多数非二进制的数据类型适用,
也可以被Hive理解。

2)SequenceFiles 是一种二进制格式,存储数据为特定数据类型。
这些数据类型被java类理解,
sqoop将自动生成这些数据类型,这种格式支持二进制格式,适合存储二进制数据。
或者那些会被MR程序处理,
(reading from SequenceFiles is higher-performance than reading from text files, as records do not need to be parsed).

Avro数据文件是一种紧凑的,有效的二进制格式,
Avro支持版本号, so that when, e.g., columns are added or removed from a table, previously imported data files can be processed along with new ones.

默认的,数据没有被压缩,可以使用gzip算法压缩,通过-z或者--compress参数来指定,
或者指定任何Hadoop压缩方式,这是通过--compression-codec参数,这个适用于 SequenceFile, text, and Avro files.

7.2.9. Large Objects

7.2.10. Importing Data Into Hive

7.2.11. Importing Data Into HBase

7.2.12. Additional Import Configuration Properties

 

7.3. Example Invocations

下面的例子描述了怎样使用导入工具:

基本导入EMPLOYEES表格,数据库corp
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES

加上登陆:
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --username SomeUser -P
Enter password: (hidden)
Selecting specific columns from the EMPLOYEES table:
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --columns "employee_id,first_name,last_name,job_title"
 
控制并发map
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    -m 8
 
启用msql的直接模式
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --direct
 
存储数据为SequenceFiles,指定生成类名为com.foocorp.Employee:
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --class-name com.foocorp.Employee --as-sequencefile
 
指定文本模式下的分隔符:
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --fields-terminated-by '\t' --lines-terminated-by '\n' \
    --optionally-enclosed-by '\"'
 
导入数据到Hive里:
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --hive-import
 
导入新employees: 
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --where "start_date > '2010-01-01'"
 
改变split列:
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --split-by dept_id
 
校验是否导入成功:
$ hadoop fs -ls EMPLOYEES
Found 5 items
drwxr-xr-x   - someuser somegrp          0 2010-04-27 16:40 /user/someuser/EMPLOYEES/_logs
-rw-r--r--   1 someuser somegrp    2913511 2010-04-27 16:40 /user/someuser/EMPLOYEES/part-m-00000
-rw-r--r--   1 someuser somegrp    1683938 2010-04-27 16:40 /user/someuser/EMPLOYEES/part-m-00001
-rw-r--r--   1 someuser somegrp    7245839 2010-04-27 16:40 /user/someuser/EMPLOYEES/part-m-00002
-rw-r--r--   1 someuser somegrp    7842523 2010-04-27 16:40 /user/someuser/EMPLOYEES/part-m-00003

$ hadoop fs -cat EMPLOYEES/part-m-00000 | head -n 10
0,joe,smith,engineering
1,jane,doe,marketing
...

执行增量导入,之前已经导入了100,000行数据。
$ sqoop import --connect jdbc:mysql://db.foo.com/somedb --table sometable \
    --where "id > 100000" --target-dir /incremental_dataset --append
 
数据库:corp,表格:EMPLOYEES,使用验证机制
$ sqoop import --connect jdbc:mysql://db.foo.com/corp \
    --table EMPLOYEES --validate

© 著作权归作者所有

共有 人打赏支持
强子1985

强子1985

粉丝 864
博文 992
码字总数 675251
作品 8
南京
架构师
Sqoop官方文档翻译0

官方文档翻译: 1. Introduction Sqoop是一个工具,用来在关系型数据库和Hadoop之间传输数据。 你可以使用Sqoop来从RDBMS(MySQL or Oracle)到Hadoop环境里, 通过MR转换数据,把数据导回到数...

强子哥哥
2015/12/28
96
0
[大数据之Sqoop] —— Sqoop初探

Sqoop是一款用于把关系型数据库中的数据导入到hdfs中或者hive中的工具,当然也支持把数据从hdfs或者hive导入到关系型数据库中。 Sqoop也是基于Mapreduce来做的数据导入。 关于sqoop的原理 sq...

青夜之衫
2017/12/05
0
0
sqoop——sqoop2使用

启动sqoop2 client后,就可以在sqoop2的命令行下执行各种命令了。sqoop官方的文档很全很好很简单,所有不清楚的先去官网找到官网的参考文档: User Guide 启动sqoop client:sqoop2,如果配置...

cjun1990
2016/11/17
33
0
Sqoop1.4.6安装使用及避坑

经过这么几天的折腾,发现 Sqoop1 真的比 Sqoop2 方便好用的多,Sqoop2 坑真是太多了,搞不定。Sqoop1 坑少也稳定,但是零基础使用过程中也是有几点需要注意的。 官方下载:Sqoop 官网 官方使...

hblt-j
07/24
0
0
sqoop2 中如何配置sqoop hook

在sqoop1.4.7这个版本中使用sqoop完成mysql 导入 hive的过程中出现sqoop_process在atlas中无法捕捉的情况,虽然通过其他的手段解决了,但是不知道兼容情况如何,因此决定尝试下sqoop2,版本号...

wuqi57
2016/09/19
132
1

没有更多内容

加载失败,请刷新页面

加载更多

简单谈一谈压力测试

最近,在做API的压力测试,趟了不少坑,然后呢,简要记录一下。 压测前需要准备的一些事 拿到API文档不要立马上手,先基准测试,就是执行一次接口测试,至少要压这个接口,要先熟悉一下他的参...

浮躁的码农
35分钟前
0
0
PHP 错误调查

一.定义:PHP错误是由PHP无法读懂执行的代码引起的错误。 二:错误日志 error log 1.在php.ini 里设置 log_errors = on, log文件位置 error_log=/tmp/php_errors.log 2.代码里设置ini_set('...

忙碌的小蜜蜂
38分钟前
0
0
knn算法

import numpy as np def CreateDateSet(): group = np.array([[1.0, 2.0], [1.2, 0.1], [0.1, 1.4], [0.3, 3.5]]) labels = ['A','A','B','B'] return group,labels coding:utf-8 from numpy......

南桥北木
38分钟前
0
0
自己手写一个 SpringMVC 框架

前端框架很多,但没有一个框架称霸,后端框架现在Spring已经完成大一统.所以学习Spring是Java程序员的必修课. Spring 框架对于 Java 后端程序员来说再熟悉不过了,以前只知道它用的反射实现的,...

别打我会飞
今天
2
0
01-《Apache Tomcat 9》之文件索引

《Apache Tomcat 9》是《看Apache官方文档学英语》的第一个专栏!让我们一起在看文档的过程中学英语,在学英语的过程中夯实技术! Documentation Index - 文件索引 Introduction - 介绍 This...

飞鱼说编程
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部