Sqoop官方文档翻译1
Sqoop官方文档翻译1
强子哥哥 发表于2年前
Sqoop官方文档翻译1
  • 发表于 2年前
  • 阅读 116
  • 收藏 0
  • 点赞 0
  • 评论 0

腾讯云 技术升级10大核心产品年终让利>>>   

7.2.4. Controlling Parallelism

Sqoop从大多数数据库源并行导入数据。
可以指定map任务的个数,这可以通过-m或者--num-mappers参数。
每个参数带一个整数---并发度。
默认的,4个并发度。
有一些数据库可以调整到8或者16会有更好地表现。
不要将这个数字超过mr集群的最大值,
任务一个接一个执行,有可能增加等待时间。
同样的,也不要增加数据库服务器能支持的最大并发数,
100个客户端可能会严重降低数据库的性能。

当执行并行导入时,sqoop需要一个标准来分区。
sqoop使用一个列来分区。
默认的,sqoop将使用主键列来分区。
低值和高值将从数据库里查询出来,map任务执行一个划分。
比如,如果有一个表格,有一个主键列id. 最小值0,最大值1000.
sqoop默认使用4个任务,sqoop将启动4个进程,每个进程执行如下所示的SQL.
SELECT * FROM sometable WHERE id >= lo AND id < hi, with (lo, hi) set to (0, 250), (250, 500), (500, 750), and (750, 1001)

如果值不是均匀分布,就会导致不均衡工作。此时可以考虑换一个列,通过 --split-by参数,
比如:--split-by employee_id
sqoop不支持多列。
如果表格没有索引列,或者有一个组合索引,需要手动选择一个列。

7.2.5. Controlling the Import Process

导入过程将使用JDBC.
有一些数据库可以使用自己的高速数据移动工具。
比如,mysql提供mysqldump工具,这个工具可以从mysql导出数据到其它系统。

通过指定--direct参数,sqoop就会尝试直接导入。效率比直接使用jdbc快。
目前,direct模式不支持导入大对象列,
 
当从postgresql导入且用direct模式时,每个文件可以指定最大大小,用--direct-split-size参数指定.


默认的,sqoop将导入表格foo到foo文件夹[HDFS]。
比如,如果用户名是someuser,那么数据就会导入到/user/someuser/foo/(files)

你可以调整父目录,通过--warehouse-dir参数。

$ sqoop import --connnect <connect-str> --table foo --warehouse-dir /shared \
    ...
这个命令就会导致文件写入到文件夹/shared/foo/ directory.

也可以显式的选择目标目录,比如:
$ sqoop import --connnect <connect-str> --table foo --target-dir /dest \
    ...
这样就会导入文件到/dest文件夹, --target-dir 不能和 --warehouse-dir一起使用。

当使用direct模式,可以指定额外的参数给工具。

如果参数--在命令行里指定,后面的参数就直接发给工具。
比如:下面的命令指定编码方式
$ sqoop import --connect jdbc:mysql://server.foo.com/db --table bar \
    --direct -- --default-character-set=latin1
默认的,如果目标文件夹已经在HDFS里存在了,sqoop将拒绝导入或者拒绝覆盖。
可以使用--append参数,sqoop将导入数据到一个临时的目录,
然后重命名文件到正常的目标文件夹里来避免冲突。

7.2.6. Controlling type mapping

Sqoop预先配置来映射大多数SQL类型到合适的java/hive对象。
尽管如此,默认的映射可能不是对所有人都合适,
可以通过--map-column-java来覆盖,或者通过--map-column-hive (for changing Hive mapping).

Table 4. Parameters for overriding mapping
Argument  Description
--map-column-java <mapping>  Override mapping from SQL to Java type for configured columns.
--map-column-hive <mapping>  Override mapping from SQL to Hive type for configured columns.

Sqoop希望是逗号隔开的映射列表<name of column>=<new type>
比如:
$ sqoop import ... --map-column-java id=String,value=Integer
Sqoop将报异常如果一些配置的映射没有被使用。

7.2.7. Incremental Imports[增量导入]

Sqoop提供一个增量导入模式,用来检索新生成的行。
下面的参数控制增量导入:
Table 5. Incremental import arguments:
Argument  Description
--check-column (col)  Specifies the column to be examined when determining which rows to import. (the column should not be of type CHAR/NCHAR/VARCHAR/VARNCHAR/ LONGVARCHAR/LONGNVARCHAR)
--incremental (mode)  Specifies how Sqoop determines which rows are new. Legal values for mode include append and lastmodified.
--last-value (value)  Specifies the maximum value of the check column from the previous import.

Sqoop支持两种类型的增量导入: 追加模式,最后修改模式。
可以使用--incremental参数来指定要执行的模式。

当导入表格时,这个表格不断增加行,行的id不断增加,此时应该指定append模式,
指定包含row的id的列,这是通过 --check-column参数
Sqoop导入行(行的id的值大于参数--last-value)
 

另外一个就是支持lastmodified模式,什么情况下使用这种模式?
表格的数据可能会被更新,每次修改都会更新last-modified列为当前时间戳。
列的值比--last-value指定的值新的列将会被导入。

增量模式导入的最后,--last-value的值会打印到屏幕上。
当执行连续的导入,需要指定--last-value来保证新数据。
这个会被自动处理,也是推荐模式。

7.2.8. File Formats

可以导入数据以2种模式:
1)文本文件 2)SequenceFiles

Delimited text是默认的文件导入格式
可以通过参数--as-textfile来指定
这个参数将写字符串到文件里,一行一个文件,列之间有分隔符,可以是逗号,\t,或者其它字符

下面的是一个例子:
1,here is a message,2010-05-01
2,happy new year!,2010-01-01
3,another message,2009-11-12
这种格式对大多数非二进制的数据类型适用,
也可以被Hive理解。

2)SequenceFiles 是一种二进制格式,存储数据为特定数据类型。
这些数据类型被java类理解,
sqoop将自动生成这些数据类型,这种格式支持二进制格式,适合存储二进制数据。
或者那些会被MR程序处理,
(reading from SequenceFiles is higher-performance than reading from text files, as records do not need to be parsed).

Avro数据文件是一种紧凑的,有效的二进制格式,
Avro支持版本号, so that when, e.g., columns are added or removed from a table, previously imported data files can be processed along with new ones.

默认的,数据没有被压缩,可以使用gzip算法压缩,通过-z或者--compress参数来指定,
或者指定任何Hadoop压缩方式,这是通过--compression-codec参数,这个适用于 SequenceFile, text, and Avro files.

7.2.9. Large Objects

7.2.10. Importing Data Into Hive

7.2.11. Importing Data Into HBase

7.2.12. Additional Import Configuration Properties

 

7.3. Example Invocations

下面的例子描述了怎样使用导入工具:

基本导入EMPLOYEES表格,数据库corp
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES

加上登陆:
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --username SomeUser -P
Enter password: (hidden)
Selecting specific columns from the EMPLOYEES table:
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --columns "employee_id,first_name,last_name,job_title"
 
控制并发map
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    -m 8
 
启用msql的直接模式
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --direct
 
存储数据为SequenceFiles,指定生成类名为com.foocorp.Employee:
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --class-name com.foocorp.Employee --as-sequencefile
 
指定文本模式下的分隔符:
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --fields-terminated-by '\t' --lines-terminated-by '\n' \
    --optionally-enclosed-by '\"'
 
导入数据到Hive里:
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --hive-import
 
导入新employees: 
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --where "start_date > '2010-01-01'"
 
改变split列:
$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
    --split-by dept_id
 
校验是否导入成功:
$ hadoop fs -ls EMPLOYEES
Found 5 items
drwxr-xr-x   - someuser somegrp          0 2010-04-27 16:40 /user/someuser/EMPLOYEES/_logs
-rw-r--r--   1 someuser somegrp    2913511 2010-04-27 16:40 /user/someuser/EMPLOYEES/part-m-00000
-rw-r--r--   1 someuser somegrp    1683938 2010-04-27 16:40 /user/someuser/EMPLOYEES/part-m-00001
-rw-r--r--   1 someuser somegrp    7245839 2010-04-27 16:40 /user/someuser/EMPLOYEES/part-m-00002
-rw-r--r--   1 someuser somegrp    7842523 2010-04-27 16:40 /user/someuser/EMPLOYEES/part-m-00003

$ hadoop fs -cat EMPLOYEES/part-m-00000 | head -n 10
0,joe,smith,engineering
1,jane,doe,marketing
...

执行增量导入,之前已经导入了100,000行数据。
$ sqoop import --connect jdbc:mysql://db.foo.com/somedb --table sometable \
    --where "id > 100000" --target-dir /incremental_dataset --append
 
数据库:corp,表格:EMPLOYEES,使用验证机制
$ sqoop import --connect jdbc:mysql://db.foo.com/corp \
    --table EMPLOYEES --validate

标签: sqoop
共有 人打赏支持
强子哥哥
粉丝 836
博文 686
码字总数 713911
作品 8
×
强子哥哥
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: