文档章节

Sqoop1配置过程

源子
 源子
发布于 2016/10/13 09:29
字数 268
阅读 7
收藏 0

注:sqoop官网提供sqoop1和sqoop2两个版本,sqoop2不支持hive、hbase等。

配置过程

1、解压sqoop tar包,本例解压到/usr/local/sqoop-1.4.6目录。

2、复制/usr/local/sqoop-1.4.6/conf下的sqoop-env-template.sh文件,并重命名为sqoop-env.sh

3、在sqoop-env.sh中配置已安装的相关路径。没有安装的如HBase等保持注释掉的状态就好。

添加Hadoop路径和hive路径:

# Set Hadoop-specific environment variables here.
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/usr/local/hadoop

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/usr/local/hadoop

#set the path to where bin/hbase is available
#export HBASE_HOME=

#Set the path to where bin/hive is available
export HIVE_HOME=/usr/local/hadoop/hive

#Set the path for where zookeper config dir is
#export ZOOCFGDIR=

4、配置环境变量。

   export SQOOP_HOME=/usr/local/sqoop-1.4.6

   export PATH=$PATH:$SQOOP_HOME/bin

 

5、将sqoop-1.4.6目录下的sqoop-1.4.6.jar复制到/usr/local/hadoop/lib文件下。

6、测试sqoop是否安装成功。输入sqoop version

7、测试连通mysql

   在终端中输入sqoop list-databases --connect jdbc:mysql://192.xxx.x.x:3306 --username 用户名 --password 密码。

    成功显示数据库列表

   

 

© 著作权归作者所有

共有 人打赏支持
源子
粉丝 12
博文 28
码字总数 23302
作品 0
朝阳
程序员
sqoop2基本架构、部署和个人使用感受

一、概述 随着公司集群升级到2.x,hadoop周边的一些工具也进行了版本的更新。这次主要说说sqoop2的升级和部署,其中sqoop1和sqoop2基本框架和用法发生翻天覆地的改变,其对版本的向下兼容做的...

zengzhaozheng
07/02
0
0
Sqoop1和Sqoop2简介

主要来源: http://www.linuxidc.com/Linux/2014-10/108337.htm 1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特...

强子哥哥
2015/12/23
792
0
Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

在使用大数据集群的时候容灾是一件很重要的事情,CM可以非常方便的进行HA配置,CM也支持sqoop1和sqoop2,之前已经配置了sqoop2本节来一起配置sqoop1 附上: 喵了个咪的博客:w-blog.cn cloudera官...

喵了_个咪
08/26
0
0
基于Hadoop生态圈的数据仓库实践 —— ETL(一)

一、使用Sqoop抽取数据 1. Sqoop简介 Sqoop是一个在Hadoop与结构化数据存储(如关系数据库)之间高效传输大批量数据的工具。它在2012年3月被成功孵化,现在已是Apache的顶级项目。Sqoop有Sqo...

wzy0623
2016/07/01
0
0
sqoop的安装与使用,sqoop安装使用

sqoop的安装与使用,sqoop安装使用 1.什么是Sqoop Sqoop即 SQL to Hadoop ,是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具,充分利用MapReduce并行特点以批处理的方式加快数据传...

Zero零_度
2016/06/06
426
0

没有更多内容

加载失败,请刷新页面

加载更多

软件测试工具书籍与面试题汇总下载(持续更新)

简介 本文是https://github.com/china-testing/python-api-tesing/blob/master/books.md 的节选。 欢迎转载,转载请附带此简介,谢谢! 试题 软件测试综合面试题(高级测试)-试题.pdf 软件测试...

python测试开发人工智能安全
14分钟前
0
0
java.sql.SQLException: Io 异常: The Network Adapter could not establish the connection 解决

有个项目使用的log4j进行日志记录的,同时也是用log4j中的数据库配置直接把相应级别的日志直接插入oracle。 在把项目部署的另一个内网环境时候,把项目的其他配置都改了,唯独log4j中的数据库...

哥本哈根的小哥
23分钟前
0
0
耗时 2 年,用 8.5 万块乐高积木最牛复刻 Apple Park

简评:国外大佬复刻 Apple Park,看了一下细节,确实厉害!只有你想不到,没有乐高拼不起来的,有没有乐高大神挑战一下? 苹果公园以各种各样的方式鼓舞人心,让人感兴趣。从建筑、可持续性和...

极光推送
25分钟前
0
0
记一次查找Hdfs磁盘占用空间比实际存储文件大4倍的原因

在一次主备namenode发生切换后,重启datanode节点,发现磁盘空间很大,想清理一下磁盘, 通过命令Hdfs dfs -du -h --max-depth=1 / 发现实际文件的大小只有8g,通过du -h --max-depth=1 /ha...

PageYi
51分钟前
4
0
阿里云推荐引擎使用教程

产品概述: 推荐引擎(Recommendation Engine,以下简称RecEng,特指阿里云推荐引擎)是在阿里云计算环境下建立的一套推荐服务框架,目标是让广大中小互联网企业能够在这套框架上快速的搭建满...

mcy0425
52分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部