文档章节

数据访问的穿透能力-Big SQL与关系型数据库的联盟

勿忘初心321
 勿忘初心321
发布于 2016/08/09 10:24
字数 569
阅读 58
收藏 0

Big SQL Federation是什么?

Big SQL Federation 是一种Hadoop与远程数据源的集成技术。通过Federation技术,管理员或应用程序可使用标准SQL透明地查询Big SQL (Hadoop) 和RDBMS 上的表。

为什么要用Federation?

在某些场景下,Hadoop平台上的数据分析需要用到RMDBS上的数据,每次从数据源移动或复制数据到Hadoop是不现实的,因为您要考虑移动或复制数据的频率、时间成本、管理成本等等。这样,利用Federation技术直接、透明地访问远程RMDBS数据源成为解决问题的有效途径。

Big SQL Federation的架构和组件

大数据处理

  • Federation Server:Big SQL内置功能,使用时只需要简单地“开启”这个功能。Federation Server运行在Big SQL的Head Node,它在Federation Catalog中记录额外的元数据,如Wrapper、Nickname等。
  • Wrapper:访问/查询远程数据源对应的lib文件,如Oracle,DB2,或Teradata等RMDBS的数据驱动程序lib文件。BigSQL利用这个lib与远程数据源进行交互。
  • Server:即远程的数据源在Big SQL的表现。一个数据源对应一个Server。
  • Nickname:远程数据源上的表或视图在本地的别名,对应Big SQL的用户,Nickname与本地Table看起来是一样的。

Federation有何功能?

  • 访问HDFS、HBase、Hive等Big SQL表或视图。
  • 访问Oracle、Teradata、MSSQL Server、 DB2、Informix、Netezza的RDBMS表或视图。
  • 跨任意数据源查询数据(project、restrict、join、union、子查询、内置函数)
  • 调用数据源的特定SQL
  • 收集统计信息和检查详细执行计划

如何使用Federation?

1. 管理员开启Big SQL的Federation功能

2. 配置Wrapper和Server,将远程数据源在本地建立通信

3. 创建Nickname,映射远程数据源的表

4. 应用连接至Big SQL

5. 如同访问本地Table一样地访问Nickname

6. Big SQL后台的优化器创建全局的执行计划

7. 查询任务被push down到本地和(或)远程的的数据源执行。

大数据处理

更多大数据与分析相关行业资讯、解决方案、案例、教程等请点击查看>>>

本文转载自:

勿忘初心321
粉丝 17
博文 105
码字总数 180970
作品 0
江北
私信 提问
关于SQL+NoSQL : NewSQL数据库

一、什么是数据库? 一般一个数据库系统(Database System)可分为两个部分: 数据库(Database) 数据管理系统(Database Management System,DBMS) A Database is an organized collectio...

erel_zhang
2018/11/17
0
0
SQL、NewSQL和NoSQL融合研究与实践

本文根据DBAplus社群第111期线上分享整理而成。 近几年,各类大数据技术迅猛发展,企业中数据处理量呈现几十到几百倍增长,数据类型也从传统结构化数据,延伸到实时流数据,以及各类非结构化...

朱祥磊
2017/07/06
0
0
2015也过去一半了,Hadoop大事件盘点

2015也快过去一半了,Hadoop在过去一年的发展究竟如何,下面小象带你盘点一下2014Hadoop大事件! 2014年2月,Hadoop 2.3.0发布,新特性包括支持HDFS的混合存储分级,可以集中管理HDFS内存里的...

dongzhumao
2015/05/19
0
0
关系型数据库尚能饭否?NoSQL、NewSQL谁能接棒?

作者介绍 数据的积累是当今各行各业巨头的企业财富,数据库则是数据存储的重要途径。在大数据和微服务大行其道的今天,传统的关系型数据库也将迎来变革。云原生的数据库架构受到越来越多的关...

张亮
2018/10/30
0
0
Big Data Strategy & Big SQL

12月8日,IBM软件工程师胡泽远老师,在DBA+社群DB2用户群进行了一次主题为“Big Data Strategy & Big SQL”的线上分享。小编特别整理出其中精华内容,供大家学习交流。同时,也非常感谢胡泽远...

胡泽远
2015/12/10
0
0

没有更多内容

加载失败,请刷新页面

加载更多

最简单的获取相机拍照的图片

  import android.content.Intent;import android.graphics.Bitmap;import android.os.Bundle;import android.os.Environment;import android.provider.MediaStore;import andr......

MrLins
今天
6
0
说好不哭!数据可视化深度干货,前端开发下一个涨薪点在这里~

随着互联网在各行各业的影响不断深入,数据规模越来越大,各企业也越来越重视数据的价值。作为一家专业的数据智能公司,个推从消息推送服务起家,经过多年的持续耕耘,积累沉淀了海量数据,在...

个推
今天
10
0
第三方支付-返回与回调注意事项

不管是支付宝,微信,还是其它第三方支付,第四方支付,支付机构服务商只要涉及到钱的交易都要进行如下校验,全部成功了才视为成功订单 1.http请求是否成功 2.校验商户号 3.校验订单号及状态...

Shingfi
今天
5
0
简述Java内存分配和回收策略以及Minor GC 和 Major GC(Full GC)

内存分配: 1. 栈区:栈可分为Java虚拟机和本地方法栈 2. 堆区:堆被所有线程共享,在虚拟机启动时创建,是唯一的目的是存放对象实例,是gc的主要区域。通常可分为两个区块年轻代和年老代。更...

DustinChan
今天
7
0
Excel插入批注:可在批注插入文字、形状、图片

1.批注一直显示:审阅选项卡-------->勾选显示批注选项: 2.插入批注快捷键:Shift+F2 组合键 3.在批注中插入图片:鼠标右键点击批注框的小圆点【重点不可以在批注文本框内点击】----->调出批...

东方墨天
今天
7
1

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部