文档章节

Sqoop1配置过程

源子
 源子
发布于 2016/10/13 09:29
字数 268
阅读 7
收藏 0

注:sqoop官网提供sqoop1和sqoop2两个版本,sqoop2不支持hive、hbase等。

配置过程

1、解压sqoop tar包,本例解压到/usr/local/sqoop-1.4.6目录。

2、复制/usr/local/sqoop-1.4.6/conf下的sqoop-env-template.sh文件,并重命名为sqoop-env.sh

3、在sqoop-env.sh中配置已安装的相关路径。没有安装的如HBase等保持注释掉的状态就好。

添加Hadoop路径和hive路径:

# Set Hadoop-specific environment variables here.
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/usr/local/hadoop

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/usr/local/hadoop

#set the path to where bin/hbase is available
#export HBASE_HOME=

#Set the path to where bin/hive is available
export HIVE_HOME=/usr/local/hadoop/hive

#Set the path for where zookeper config dir is
#export ZOOCFGDIR=

4、配置环境变量。

   export SQOOP_HOME=/usr/local/sqoop-1.4.6

   export PATH=$PATH:$SQOOP_HOME/bin

 

5、将sqoop-1.4.6目录下的sqoop-1.4.6.jar复制到/usr/local/hadoop/lib文件下。

6、测试sqoop是否安装成功。输入sqoop version

7、测试连通mysql

   在终端中输入sqoop list-databases --connect jdbc:mysql://192.xxx.x.x:3306 --username 用户名 --password 密码。

    成功显示数据库列表

   

 

© 著作权归作者所有

共有 人打赏支持
源子
粉丝 11
博文 28
码字总数 23302
作品 0
朝阳
程序员
sqoop2基本架构、部署和个人使用感受

一、概述 随着公司集群升级到2.x,hadoop周边的一些工具也进行了版本的更新。这次主要说说sqoop2的升级和部署,其中sqoop1和sqoop2基本框架和用法发生翻天覆地的改变,其对版本的向下兼容做的...

zengzhaozheng
07/02
0
0
Sqoop1和Sqoop2简介

主要来源: http://www.linuxidc.com/Linux/2014-10/108337.htm 1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特...

强子哥哥
2015/12/23
792
0
基于Hadoop生态圈的数据仓库实践 —— ETL(一)

一、使用Sqoop抽取数据 1. Sqoop简介 Sqoop是一个在Hadoop与结构化数据存储(如关系数据库)之间高效传输大批量数据的工具。它在2012年3月被成功孵化,现在已是Apache的顶级项目。Sqoop有Sqo...

wzy0623
2016/07/01
0
0
sqoop的安装与使用,sqoop安装使用

sqoop的安装与使用,sqoop安装使用 1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特点以批处理的方式加快数据传...

Zero零_度
2016/06/06
426
0
sqoop1.4.6 to hbase1.2 in hue4.1躺坑总结

一、sqoop1.4.6 to hbase1.2 in hue4.1 CM安装 cdh 5.15.x,因想用简单的sqoop1所以parce装的sqoop1 client,经测试报:SQOOPCONFDIR找不到,mysql drive no find ,检查发现安装目录和classpa...

hblt-j
07/31
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

qduoj~前端~二次开发~打包docker镜像并上传到阿里云容器镜像仓库

上一篇文章https://my.oschina.net/finchxu/blog/1930017记录了怎么在本地修改前端,现在我要把我的修改添加到部署到本地的前端的docker容器中,然后打包这个容器成为一个本地镜像,然后把这...

虚拟世界的懒猫
37分钟前
1
0
UML中 的各种符号含义

Class Notation A class notation consists of three parts: Class Name The name of the class appears in the first partition. Class Attributes Attributes are shown in the second par......

hutaishi
49分钟前
0
0
20180818 上课截图

小丑鱼00
今天
1
0
Springsecurity之SecurityContextHolderStrategy

注:下面分析的版本是spring-security-4.2.x,源码的github地址是: https://github.com/spring-projects/spring-security/tree/4.2.x 先上一张图: 图1 SecurityContextHolderStrategy的三个......

汉斯-冯-拉特
今天
0
0
LNMP架构(Nginx负载均衡、ssl原理、生成ssl密钥对、Nginx配置ssl)

Nginx负载均衡 网站的访问量越来越大,服务器的服务模式也得进行相应的升级,比如分离出数据库服务器、分离出图片作为单独服务,这些是简单的数据的负载均衡,将压力分散到不同的机器上。有时...

蛋黄_Yolks
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部