文档章节

sqoop --query \$CONDITIONS HUE执行失败

s
 summerdk
发布于 2016/09/11 15:43
字数 393
阅读 146
收藏 0

1. HUE sqoop命令框中直接输入:

sqoop-import --connect jdbc:mysql://ip地址:端口/数据库 --username 用户名 --password 密码 --query select * from 表名 where 1=1 and \$CONDITIONS --split-by id --hive-table hive表 --target-dir /apps/hive/warehouse/mydb.db/product/dt=${date} --hive-partition-key dt --hive-partition-value ${date} --hive-import --driver com.mysql.jdbc.Driver

运行会提示报错,是因为SQL语句被解析成sqoop参数

2784 [main] ERROR org.apache.sqoop.tool.BaseSqoopTool  - Error parsing arguments for import:
2016-09-11 15:21:46,485 ERROR [main] tool.BaseSqoopTool (BaseSqoopTool.java:hasUnrecognizedArgs(304)) - Error parsing arguments for import:
2785 [main] ERROR org.apache.sqoop.tool.BaseSqoopTool  - Unrecognized argument: *
2016-09-11 15:21:46,486 ERROR [main] tool.BaseSqoopTool (BaseSqoopTool.java:hasUnrecognizedArgs(307)) - Unrecognized argument: *
2785 [main] ERROR org.apache.sqoop.tool.BaseSqoopTool  - Unrecognized argument: from
2016-09-11 15:21:46,486 ERROR [main] tool.BaseSqoopTool (BaseSqoopTool.java:hasUnrecognizedArgs(307)) - Unrecognized argument: from
2785 [main] ERROR org.apache.sqoop.tool.BaseSqoopTool  - Unrecognized argument: product
2016-09-11 15:21:46,486 ERROR [main] tool.BaseSqoopTool (BaseSqoopTool.java:hasUnrecognizedArgs(307)) - Unrecognized argument: p_product
2785 [main] ERROR org.apache.sqoop.tool.BaseSqoopTool  - Unrecognized argument: where
2016-09-11 15:21:46,486 ERROR [main] tool.BaseSqoopTool (BaseSqoopTool.java:hasUnrecognizedArgs(307)) - Unrecognized argument: where
2785 [main] ERROR org.apache.sqoop.tool.BaseSqoopTool  - Unrecognized argument: $CONDITIONS

2. 解决方案: 最好采用参数化的方式

<workflow-app name="test" xmlns="uri:oozie:workflow:0.5">
    <start to="sqoop-fb61"/>
    <kill name="Kill">
        <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <action name="sqoop-fb61">
        <sqoop xmlns="uri:oozie:sqoop-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
              <arg>import</arg>
              <arg>--connect</arg>
              <arg>&quot;jdbc:mysql://IP地址:端口/数据库&quot;</arg>
              <arg>--username</arg>
              <arg>&quot;用户名&quot;</arg>
              <arg>--password</arg>
              <arg>&quot;密码&quot;</arg>
              <arg>--query</arg>
              <arg>select * from product where $CONDITIONS</arg>    ## 注意:这个地方没有反斜杠(\)
              <arg>--split-by</arg>
              <arg>&quot;id&quot;</arg>
              <arg>--hive-table</arg>
              <arg>&quot;HIVE表名&quot;</arg>
              <arg>--target-dir</arg>
              <arg>&quot;/apps/hive/warehouse/mydb.db/product/dt=${date}&quot;</arg>
              <arg>--hive-partition-key</arg>
              <arg>&quot;dt&quot;</arg>
              <arg>--hive-partition-value</arg>
              <arg>&quot;${date}&quot;</arg>
              <arg>--hive-import</arg>
              <arg>--driver</arg>
              <arg>&quot;com.mysql.jdbc.Driver&quot;</arg>
        </sqoop>
        <ok to="End"/>
        <error to="Kill"/>
    </action>
    <end name="End"/>
</workflow-app>

© 著作权归作者所有

上一篇: 头疼的heart beat
下一篇: HUE 安装与配置
s
粉丝 0
博文 25
码字总数 9734
作品 0
杭州
私信 提问
sqoop1.4.6 to hbase1.2 in hue4.1躺坑总结

一、sqoop1.4.6 to hbase1.2 in hue4.1 CM安装 cdh 5.15.x,因想用简单的sqoop1所以parce装的sqoop1 client,经测试报:SQOOPCONFDIR找不到,mysql drive no find ,检查发现安装目录和classpa...

hblt-j
2018/07/31
974
2
Sqoop1.4.6安装使用及避坑

经过这么几天的折腾,发现 Sqoop1 真的比 Sqoop2 方便好用的多,Sqoop2 坑真是太多了,搞不定。Sqoop1 坑少也稳定,但是零基础使用过程中也是有几点需要注意的。 官方下载:Sqoop 官网 官方使...

hblt-j
2018/07/24
77
0
sqoop 的安装 及与hdfs hive base结合使用

1.上传sqoop 2.安装和配置 把sqoop添加到环境变量 将数据库连接驱动拷贝到$SQOOP_HOME/lib里 3.使用 第一类:数据库中的数据导入到HDFS上 sqoop import --connect jdbc:mysql://192.168.1.10...

xiaozhou18
2016/12/05
51
0
sqoop 完成与关系型数据库的互导

一.安装SQOOP后可使用如下命令列出mysql数据库中的所有数据库,与检验是否安装成功。 # sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456 ...

gulf
2018/06/26
66
0
hue oozie再踩坑,workflow,coordinator终于都可以跑了

前边总结 了些hue下sqoop1,oozie,hbase的一些坑,今日项目到期,一定要搞定oozie工作流和定时调度执行,以是skr skr skr .... 1.前边 的sqoop mysql 导入出的坑已都踩过了,后来发现除了cdh...

hblt-j
2018/09/27
905
4

没有更多内容

加载失败,请刷新页面

加载更多

golang-字符串-地址分析

demo package mainimport "fmt"func main() {str := "map.baidu.com"fmt.Println(&str, str)str = str[0:5]fmt.Println(&str, str)str = "abc"fmt.Println(&s......

李琼涛
今天
4
0
Spring Boot WebFlux 增删改查完整实战 demo

03:WebFlux Web CRUD 实践 前言 上一篇基于功能性端点去创建一个简单服务,实现了 Hello 。这一篇用 Spring Boot WebFlux 的注解控制层技术创建一个 CRUD WebFlux 应用,让开发更方便。这里...

泥瓦匠BYSocket
今天
6
0
从0开始学FreeRTOS-(列表与列表项)-3

FreeRTOS列表&列表项的源码解读 第一次看列表与列表项的时候,感觉很像是链表,虽然我自己的链表也不太会,但是就是感觉很像。 在FreeRTOS中,列表与列表项使用得非常多,是FreeRTOS的一个数...

杰杰1号
今天
8
0
Java反射

Java 反射 反射是框架设计的灵魂(使用的前提条件:必须先得到代表的字节码的 Class,Class 类 用于表示.class 文件(字节码)) 一、反射的概述 定义:JAVA 反射机制是在运行状态中,对于任...

zzz1122334
今天
6
0
聊聊nacos的LocalConfigInfoProcessor

序 本文主要研究一下nacos的LocalConfigInfoProcessor LocalConfigInfoProcessor nacos-1.1.3/client/src/main/java/com/alibaba/nacos/client/config/impl/LocalConfigInfoProcessor.java p......

go4it
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部