Sqoop 使用指南

原创
2017/01/22 11:20
阅读数 95

SQOOP1 数据加载

如果要用Sqoop 1来将数据从Teradata中,可以安装sqoop connector。安装完了之后,可以执行以下命令来完成数据的加载。

sqoop import --connect jdbc:teradata://teradataIP/DATABASE=databasename --username teradata_username \
--password teradata_passwd --table taradata_table --split-by split_by_column_name \
--hive-import --hive-table hive_database.hive_table -m 2  --fields-terminated-by '\001' \
--lines-terminated-by '\n' --hive-overwrite -- --input-method split.by.amp

参数基本还是很直白的。

--split-by 是用于表没有PK的情况。在Teradata数据库中,一般用PI(Primary Index)来对数据表进行hash,以便提高查询效率,所以用sqoop抽取数据的时候,可以用pi 字段作为split-by的参数值

-m 是mapper数量,可以考虑调大,提高并行度。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部