文档章节

大数据(hadoop-数据入库系统Sqoop原理架构)

这很耳东先生
 这很耳东先生
发布于 06/17 19:54
字数 491
阅读 30
收藏 1

Sqoop是什么

Sqoop:SQL-to-Hadoop

连接传统关系型数据库和Hadoop的桥梁
   把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中;
   把数据从 Hadoop 系统里抽取并导出到关系型数据库里。

利用MapReduce

批处理方式进行数据传输

Sqoop优势

高效、可控的利用资源
   任务并行度、超时时间等

数据类型映射与转换
   可自动进行,用户也可自定义

支持多种数据库
   MySQL
   Oracle
   PostgreSQL

Sqoop1架构

Sqoop2架构

Sqoop import

将数据从关系型数据库导入Hadoop 中

步骤1 :Sqoop 与数据库Server通信,获取数据库表的元数据信息;
步骤2 :Sqoop 启动一个Map-
Only 的MR 作业,利用元数据信息并行将数据写入Hadoop 。

Sqoop import使用

sqoop import \
	--connect jdbc:mysql://mysql.example.com/sqoop \
	--username sqoop \
	--password sqoop \
	--table person
	--target-dir
 --connnect:  指定JDBC URL
 --username/password :mysql 数据库的用户名
 --table :要读取的数据库表

Sqoop Export

将数据从Hadoop 导入关系型数据库导中

步骤1 :
Sqoop 与数据库Server通信,获取数据库表的元数据信息;

步骤2 :并行导入数据:
  将Hadoop 上文件划分成若干个split ;
  每个split 由一个Map Task 进行数据导入。

Sqoop Export使用方法

sqoop export \
   --connect jdbc:mysql://mysql.example.com/sqoop \
   --username sqoop \
   --password sqoop \
   --table cities \
   --export-dir cities
   --fields-terminated-by

 --connnect:  指定JDBC URL
 --username/password :mysql 数据库的用户名
 --table :要导入的数据库表
 export-dir :数据在HDFS 上存放目录

Sqoop与其他系统结合

     Sqoop 可以与Oozie 、Hive 、Hbase 等系统结合;

     用户需要在sqoop-env.sh 中增加HBASE_HOME 、HIVE_HOME
 

 

 

© 著作权归作者所有

这很耳东先生
粉丝 8
博文 106
码字总数 277707
作品 0
广州
私信 提问
大数据(hadoop-flume的原理架构)

背景介绍 Hadoop提供了一个中央化的存储系统 有利于进行集中式的数据分析与数据共享 Hadoop对存储格式没有要求: 用户访问日志 产品信息 网页数据等 如何将数据存入Hadoop: 数据分散在各个离...

这很耳东先生
06/13
0
0
Sqoop 架构解析及Sqoop1与Sqoop2比较

概述 Sqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。它是用来从关系数据库如:MySQL,Oracle到Hadoop的HDFS,并从Hadoop的文件系统导出数据到关系数据库。 传统的应用管理系统,也...

PeakFang-BOK
2018/10/12
0
0
大数据经典学习路线(及供参考)

转:https://blog.csdn.net/yuexianchang/article/details/52468291 目录(?)[+]

junzixing1985
2018/04/15
0
0
HDFS Everywhere——RDBMS on HDFS

关系型数据库和HDFS的结合 ** 目录 ** 简介: – 题目: – 摘要: – 背景: 思路和计划: – 目标: 分工: 已有解决方案: – Sqoop: Solution: sqoop与loading对比: 项目简介: – 题目...

dukeke
2015/06/25
0
0
sqoop 1.4.6-cdh5.7.0安装

sqoop简介: Sqoop is a tool designed to transfer data between Hadoop and relational databases or mainframes. You can use Sqoop to import data from a relational database managem......

hnairdb
2018/10/30
0
0

没有更多内容

加载失败,请刷新页面

加载更多

php 遇到 No input file specified的解决方法

(一)IIS Noinput file specified 方法一:改PHP.ini中的doc_root行,打开ini文件注释掉此行,然后重启IIS 方法二: 请修改php.ini 找到 ; cgi.force_redirect = 1 去掉前面分号,把后面的1...

chenhongjiang
今天
5
0
MySQL 基础

一、常用命令 在命令行中,配置好环境变量后,通过cmd可以直接进入mysql命令行模式,同时列举几种常用命令 # 进入mysql数据库,密码可以先不写,打完-p后再输入,防止被别人看到mysql -u账...

华山猛男
今天
6
0
简单的博客系统(四)Django请求HTML页面视图信息--基于函数的视图

1. 编写用于查询数据的功能函数 应用目录 下的 views.py 文件通常用于保存响应各种请求的函数或类 from django.shortcuts import renderfrom .models import BlogArticles# Create your ...

ZeroBit
今天
5
0
用脚本将本地照片库批量导入到Day One中

因为目前iCloud 空间已经不足,其中95%都是照片,之前入手了DayOne,且空间没有限制,订阅费一年也不少,再加上DayOne作为一款日记App 也比较有名,功能方面最大的就是地理视图与照片视图,尤...

在山的那边
昨天
21
0
jupyter部署安装

python373 -m ipykernel install --name python373 ipython kernelspec list sc create myjupyterservice binpath="D:\apply\Python373\Scripts\jupyter-notebook --config=V:/my_work/jupyt......

mbzhong
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部