文档章节

sqoop2增量导入无法指定last value问题解决方法

林远图raymond
 林远图raymond
发布于 2016/03/14 11:07
字数 277
阅读 129
收藏 0
点赞 1
评论 0

在用sqoop 1.99.6创建任务进行增量导入时,在incremental read后需要输入check column和last value,但是再输入last value时输入任何值都会提示超出了size,size为-1。以下是这个问题的解决方法。

sqoop 1.99.6版本尚不稳定,源码存在错误,上个问题的错误原因在于a/shell/src/main/java/org/apache/sqoop/shell/utils/ConfigFiller.java中存在错误代码,一共存在两处错误

第一处为:

@@ -433,7 +433,7 @@ public final class ConfigFiller {

     String opt = ConfigOptions.getOptionKey(prefix, input);

     if (line.hasOption(opt)) {

       String value = line.getOptionValue(ConfigOptions.getOptionKey(prefix, input));

-      if(value.length() > input.getMaxLength()) {

+      if((input.getMaxLength() >= 0) && (value.length() > input.getMaxLength())) {

         errorMessage(input, "Size of input exceeds allowance for this input"

           + " field. Maximal allowed size is " + input.getMaxLength());

       }


第二处为:

@@ -1039,7 +1039,7 @@ public final class ConfigFiller {

       input.setValue(userTyped);

 

       // Check that it did not exceeds maximal allowance for given input

-      if(userTyped.length() > input.getMaxLength()) {

+      if((input.getMaxLength() >= 0) && (userTyped.length() > input.getMaxLength())) {

         errorMessage("Size of input exceeds allowance for this input"

           + " field. Maximal allowed size is " + input.getMaxLength());

         return fillInputStringWithBundle(input, reader, bundle);


修改后把sqoop-shell-1.99.6.jar中的ConfigFiller.class替换成修改后的.class,即可进行正常的增量导入。

sqoop-shell-1.99.6.jar在$SQOOP2_HOME/shell/lib/路径中,替换就OK了


本文转载自:http://m.blog.csdn.net/article/details?id=50171777

共有 人打赏支持
林远图raymond
粉丝 0
博文 2
码字总数 1127
作品 0
杭州
高级程序员
基于Hadoop生态圈的数据仓库实践 —— ETL(一)

一、使用Sqoop抽取数据 1. Sqoop简介 Sqoop是一个在Hadoop与结构化数据存储(如关系数据库)之间高效传输大批量数据的工具。它在2012年3月被成功孵化,现在已是Apache的顶级项目。Sqoop有Sqo...

wzy0623 ⋅ 2016/07/01 ⋅ 0

Sqoop1和Sqoop2简介

主要来源: http://www.linuxidc.com/Linux/2014-10/108337.htm 1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特...

强子哥哥 ⋅ 2015/12/23 ⋅ 0

sqoop2基本架构、部署和个人使用感受

一、概述 随着公司集群升级到2.x,hadoop周边的一些工具也进行了版本的更新。这次主要说说sqoop2的升级和部署,其中sqoop1和sqoop2基本框架和用法发生翻天覆地的改变,其对版本的向下兼容做的...

zengzhaozheng ⋅ 2014/06/28 ⋅ 0

sqoop的安装与使用,sqoop安装使用

sqoop的安装与使用,sqoop安装使用 1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特点以批处理的方式加快数据传...

Zero零_度 ⋅ 2016/06/06 ⋅ 0

大数据实验室(大数据基础培训)——Sqoop的安装、配置及基础使用

为某企业做的培训,完整文档见:http://gudaoxuri.github.io/bd-lab/ 12. Sqoop 官方文档:http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html 12.1. 安装 tar -zxf sqoop-1.4.6.binha......

孤岛旭日 ⋅ 2016/05/06 ⋅ 0

Sqoop2使用方法简介

1.sqoop2-shell 进入 shell 2.show connector 显示支持的连接方式 3.show link -all 查看已有连接的信息 ink with id 1 and name .168.1.188-1464317401319 (Enabled: true, Created by Adm......

去买大白兔 ⋅ 2017/05/19 ⋅ 0

Sqoop2使用方法简介

1.sqoop2-shell 进入 shell 2.show connector 显示支持的连接方式 3.show link -all 查看已有连接的信息 ink with id 1 and name .168.1.188-1464317401319 (Enabled: true, Created by Adm......

去买大白兔 ⋅ 2017/05/19 ⋅ 0

sqoop2 中如何配置sqoop hook

在sqoop1.4.7这个版本中使用sqoop完成mysql 导入 hive的过程中出现sqoop_process在atlas中无法捕捉的情况,虽然通过其他的手段解决了,但是不知道兼容情况如何,因此决定尝试下sqoop2,版本号...

wuqi57 ⋅ 2016/09/19 ⋅ 1

Apache Sqoop 1.99.4 发布,Hadoop 数据迁移

Apache Sqoop 1.99.4 发布,这是 Sqoop2 的第四个里程碑版本,是非常重要的一个里程碑。 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : ...

oschina ⋅ 2014/11/27 ⋅ 0

sqoop增量导入

核心参数 –check-column 用来指定一些列,这些列在增量导入时用来检查这些数据是否作为增量数据进行导入,和关系型数据库中的自增字段及时间戳类似. 注意:这些被指定的列的类型不能使任意字...

仔仔1993 ⋅ 02/23 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

CENTOS7防火墙命令记录

安装Firewall命令: yum install firewalld firewalld-config Firewall开启常见端口命令: firewall-cmd --zone=public --add-port=80/tcp --permanent firewall-cmd --zone=public --add-po......

cavion ⋅ 32分钟前 ⋅ 0

【C++】【STL】利用chromo来测量程序运行时间与日志时间打印精确到微秒

直接上代码吧,没啥好说的。头疼。 #include <iostream>#include <string>#include <ctime>#include <sstream>#include <iomanip>#include <thread>#include <chrono>using ......

muqiusangyang ⋅ 35分钟前 ⋅ 0

Mac环境下svn的使用

在Windows环境中,我们一般使用TortoiseSVN来搭建svn环境。在Mac环境下,由于Mac自带了svn的服务器端和客户端功能,所以我们可以在不装任何第三方软件的前提下使用svn功能,不过还需做一下简...

故久呵呵 ⋅ 44分钟前 ⋅ 0

破解公司回应苹果“USB限制模式”:已攻破

本周四,苹果发表声明称 iOS 中加入了一项名为“USB 限制模式”的功能,可以防止 iPhone 在连接其他设备的时候被破解,并且强调这一功能并不是针对 FBI 等执法部门,为的是保护用户数据安全。...

六库科技 ⋅ 46分钟前 ⋅ 0

MyBtais整合Spring Boot整合,TypeHandler对枚举类(enum)处理

概要 问题描述 我想用枚举类来表示用户当前状态,枚举类由 code 和 msg 组成,但我只想把 code 保存到数据库,查询处理,能知道用户当前状态,这应该怎么做呢?在 Spring 整合MyBatis 的时候...

Wenyi_Feng ⋅ 今天 ⋅ 0

synchronized与Lock的区别

# <center>王梦龙的读书笔记第一篇</center> ## <center>-synchronized与Lock的区别</centre> ###一、从使用场景来说 + synchronized 是能够注释代码块、类、方法但是它的加锁是和解锁使用一......

我不想加班 ⋅ 今天 ⋅ 0

VConsole的使用

手机端控制台打印输出,方便bug的排查。 首先需要引入vconsole.min.js 文件,然后在文件中创造实例。就能直接使用了。 var vConsole = new VConsole(); vConsole的文件地址...

大美琴 ⋅ 今天 ⋅ 0

Java NIO之字符集

1 字符集和编解码的概念 首先,解释一下什么是字符集。顾名思义,就是字符的集合。它的初衷是把现实世界的符号映射为计算机可以理解的字节。比如我创造一个字符集,叫做sex字符集,就包含两个...

士别三日 ⋅ 今天 ⋅ 0

Spring Bean基础

1、Bean之间引用 <!--如果Bean配置在同一个XML文件中,使用local引用--><ref bean="someBean"/><!--如果Bean配置在不同的XML文件中,使用ref引用--><ref local="someBean"/> 其实两种......

霍淇滨 ⋅ 今天 ⋅ 0

05、基于Consul+Upsync+Nginx实现动态负载均衡

1、Consul环境搭建 下载consul_0.7.5_linux_amd64.zip到/usr/local/src目录 cd /usr/local/srcwget https://releases.hashicorp.com/consul/0.7.5/consul_0.7.5_linux_amd64.zip 解压consu......

北岩 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部