文档章节

sqoop2的安装-执行-问题

SnailEatA
 SnailEatA
发布于 2017/11/06 21:53
字数 274
阅读 18
收藏 0

一、安装

1.解压
2.引入环境变量
vi ~/.bashrc
export SQOOP_HOME=/home/hadoop/sqoop/sqoop-1.99.7-bin-hadoop200
export PATH=$PATH:$SQOOP_HOME/bin
export SQOOP_SERVER_EXTRA_LIB=$SQOOP_HOME/extra
export CATALINA_BASE=$SQOOP_HOME/server
export LOGDIR=$SQOOP_HOME/logs/
3.修改配置文件
cd /apps/sqoop/server/conf
a:
vi sqoop.properties
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/apps/hadoop-2.8.1/etc/hadoop

b:
vi catalina.properties
common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/apps/hadoop-2.8.1/share/hadoop/common/*.jar,/apps/hadoop-2.8.1/share/hadoop/common/lib/*.jar,/apps/hadoop-2.8.1/share/hadoop/hdfs/*.jar,/apps/hadoop-2.8.1/share/hadoop/hdfs/lib/*.jar,/apps/hadoop-2.8.1/share/hadoop/mapreduce/*.jar,/apps/hadoop-2.8.1/share/hadoop/mapreduce/lib/*.jar,/apps/hadoop-2.8.1/share/hadoop/tools/lib/*.jar,/apps/hadoop-2.8.1/share/hadoop/yarn/*.jar,/apps/hadoop-2.8.1/share/hadoop/yarn/lib/*.jar,/apps/hadoop-2.8.1/share/hadoop/httpfs/tomcat/lib/*.jar

二、执行

1.Start or stop the sqoop server
sqoop.sh server start/stop
2.Start the sqoop shell
sqoop.sh client
三、问题

问题: org.apache.sqoop.common.SqoopException: GENERIC_JDBC_CONNECTOR_0005:No column is found to partition data
解决:
然后我对我的sqoop  job做了update

有如下信息
Schema name: datamart
Table name:table_name
Table SQL statement:
Table column names:
Partition column name:
Null value allowed for the partition column:
Boundary query:

Partition column name分区的列名,正好我把表table_name的分布键  id  加了上去,然后start job --jid 1
执行成功

© 著作权归作者所有

SnailEatA
粉丝 1
博文 17
码字总数 3321
作品 0
苏州
私信 提问
基于Hadoop生态圈的数据仓库实践 —— ETL(一)

一、使用Sqoop抽取数据 1. Sqoop简介 Sqoop是一个在Hadoop与结构化数据存储(如关系数据库)之间高效传输大批量数据的工具。它在2012年3月被成功孵化,现在已是Apache的顶级项目。Sqoop有Sqo...

wzy0623
2016/07/01
0
0
Sqoop2 vs Sqoop

以下文字内容部分译自Sqoop2 vs Sqoop: Sqoop1是一个客户端程序,用户只需在客户端添加驱动或者连接器到Sqoop中即可使用, Sqoop2是一个基于服务的模型,新一代Sqoop,所有配置以及驱动都必...

cwalet
2015/11/23
1K
0
sqoop2基本架构、部署和个人使用感受

一、概述 随着公司集群升级到2.x,hadoop周边的一些工具也进行了版本的更新。这次主要说说sqoop2的升级和部署,其中sqoop1和sqoop2基本框架和用法发生翻天覆地的改变,其对版本的向下兼容做的...

zengzhaozheng
2018/07/02
0
0
Sqoop1和Sqoop2简介

主要来源: http://www.linuxidc.com/Linux/2014-10/108337.htm 1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特...

强子大叔的码田
2015/12/23
1K
0
sqoop的安装与使用,sqoop安装使用

sqoop的安装与使用,sqoop安装使用 1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特点以批处理的方式加快数据传...

Zero零_度
2016/06/06
767
0

没有更多内容

加载失败,请刷新页面

加载更多

Podman 使用指南

> 原文链接:Podman 使用指南 Podman 原来是 CRI-O 项目的一部分,后来被分离成一个单独的项目叫 libpod。Podman 的使用体验和 Docker 类似,不同的是 Podman 没有 daemon。以前使用 Docker...

米开朗基杨
47分钟前
5
0
拯救 项目经理个人时间的5个技巧

优秀的项目经理都有一个共同点,那就是良好的时间管理能力。专业的项目经理会确保他们的时间投入富有成效,尽可能避免时间浪费。 时间管理叫做GTD,即Getting Things Done——“把事情做完”...

Airship
今天
6
0
LNMP环境介绍,Mariadb安装,服务管理,mariadb安装3

LNMP环境介绍 Nginx 处理的请求有两种,分为 静态与动态 图片,js,css,视频,音频,flash 等都是静态请求,这些数据都不是保存在数据库里面的 动态请求一般来说,需要的数据是在数据库里面...

doomcat
今天
1
0
前端技术之:Prisma Demo服务部署过程记录

安装前提条件: 1、已经安装了docker运行环境 2、以下命令执行记录发生在MackBook环境 3、已经安装了PostgreSQL(我使用的是11版本) 4、Node开发运行环境可以正常工作 首先需要通过Node包管...

popgis
今天
7
0
数组和链表

数组 链表 技巧一:掌握链表,想轻松写出正确的链表代码,需要理解指针获引用的含义: 对指针的理解,记住下面的这句话就可以了: 将某个变量赋值给指针,实际上就是将这个变量的地址赋值给指...

code-ortaerc
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部