文档章节

sqoop job用法

肥皂泡2
 肥皂泡2
发布于 2018/04/25 17:13
字数 97
阅读 190
收藏 0
  • 创建JOB

  sqoop job -D mapreduce.job.queuename='root.bi' --create xt_test_job -- import --connect jdbc:mysql://xxxx:3306/test?tinyInt1isBit=false --username xxx --password xxx --table bi_c2c_appoint_task --incremental "lastmodified" --check-column "a_updated_at" --hcatalog-database test --hcatalog-table xt_test_job_tbl --hcatalog-storage-stanza 'stored as orcfile' -m 1 

  • 运行JOB

  sqoop job -D mapreduce.job.queuename='root.bi' --exec xt_test_job -- --columns 'id,car_source_id,appoint_address,a_updated_at' --hcatalog-partition-keys dt,dh --hcatalog-partition-values 2018-04-25,13

  • 显示JOB

        sqoop job --show xt_test_job

 

© 著作权归作者所有

肥皂泡2

肥皂泡2

粉丝 67
博文 161
码字总数 30609
作品 0
昌平
程序员
私信 提问
加载中

评论(0)

sqoop使用mysql做为metastore

<property> <name>sqoop.metastore.client.enable.autoconnect</name> <value>false</value> <description>If true, Sqoop will connect to a local metastore for job management when no o......

Jiangnan_
2016/03/08
482
0
sqoop——sqoop2使用

启动sqoop2 client后,就可以在sqoop2的命令行下执行各种命令了。sqoop官方的文档很全很好很简单,所有不清楚的先去官网找到官网的参考文档: User Guide 启动sqoop client:sqoop2,如果配置...

cjun1990
2016/11/17
33
0
sqoop2 1.99.3安装

HADOOP环境为hadoop2.2.0 下载的sqoop包为sqoop-1.99.3-bin-hadoop200,下载地址: http://apache.fayea.com/apache-mirror/sqoop/1.99.3/sqoop-1.99.3-bin-hadoop200.tar.gz 1.解压文件到工作......

xiaofengge315
2018/06/26
0
0
sqoop2基本架构、部署和个人使用感受

一、概述 随着公司集群升级到2.x,hadoop周边的一些工具也进行了版本的更新。这次主要说说sqoop2的升级和部署,其中sqoop1和sqoop2基本框架和用法发生翻天覆地的改变,其对版本的向下兼容做的...

zengzhaozheng
2018/07/02
0
0
mapreduce job所需要的各种参数在Sqoop中的实现

InputFormatClass com.cloudera.sqoop.mapreduce.db.DataDrivenDBInputFormat 2) OutputFormatClass1)TextFile com.cloudera.sqoop.mapreduce.RawKeyTextOutputFormat 2)SequenceFile org.ap......

超人学院
2015/05/21
645
0

没有更多内容

加载失败,请刷新页面

加载更多

Paragon NTFS for Mac(Mac读写ntfs磁盘工具) v15.5.106

Paragon NTFS for Mac(Mac读写ntfs磁盘工具)。它专门开发用来弥补Windows和Mac OS X之间的不兼容性,通过在Mac OS X系统下提供对任何版本的NTFS文件系统完全的读写访问服务来弥合这种不兼容性...

麦克W
29分钟前
19
0
DeepFaceLab上云之滴滴云使用全攻略!

以下内容为转载,转载出处请注意文末。 几天前写了一遍关于云服务器文章,简单的说了下目前国内有些云GPU,大概做了一个价格比较,不少人想要尝试下,但是不知道如何操作。今天就来说说具体操...

滴滴云
33分钟前
17
0
面试官问:cookie是什么?session是什么?,以及它们之间的区别

JavaWeb这个时间有点久了,不能学了前面忘后面,是时候总结一下了 Cookie cookie由服务器生成,发送给浏览器,保存在浏览器上。 cookie生命周期 会话级别: 本次浏览器关闭 保存在 浏览器内存...

庭前云落
40分钟前
24
0
NIO

行者终成事
41分钟前
28
0
多线程 ReentrantLock 中 Lock,tryLock,lockInterruptibly

链接:https://www.zhihu.com/question/36771163/answer/68974735 ReentrantLock 锁有好几种,除了常用的lock ,tryLock ,其中有个lockInterruptibly 。 先把API粘贴上来 lockpublic voi...

moon888
46分钟前
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部