文档章节

2.Spark之简介SQL

鞋底留个洞
 鞋底留个洞
发布于 2016/01/27 10:50
字数 188
阅读 27
收藏 0

Spark SQL是Spark用来处理结构化数据的模块。下面介绍Spark SQL的几个特点。

  • 集成:允许在Spark程序中无缝混入SQL或者类DataFrame API,来查询结构化的数据。

  • 统一数据访问:使用相同的方式来连接多种数据源,包括Hive、Avro、Parquet、ORC、JSON和JDBC,甚至还可以跨数据源合并数据。

  • 兼容Hive:在现有数据的基础上运行Hive查询。Spark SQL使用Hive的前端和元数据,完整的兼容了Hive数据、查询和UDFs。安装也很简单。

  • 标准连接:支持标准的JDBC和ODBC连接。服务模式为商业智能工具提供了标准的JDBC和ODBC连接。


© 著作权归作者所有

共有 人打赏支持
下一篇: 1.Spark之简介
鞋底留个洞
粉丝 3
博文 28
码字总数 28568
作品 0
朝阳
高级程序员
私信 提问
PySpark笔记(一):Spark简介与安装

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark拥有Hadoop ...

洛荷
2017/10/25
0
0
2.Spark Streaming:基本工作原理

Spark Streaming简介 Spark Streaming是Spark Core API的一种扩展,它可以用于进行大规模、高吞吐量、容错的实时数据流的处理。它支持从很多种数据源中读取数据,比如Kafka、Flume、Twitter...

weixin_32265569
2017/11/14
0
0
盘点最受欢迎的十个开源大数据技术

大数据已然成为当今最热门的技术之一,正呈爆炸式增长。每天来自全球的新项目如雨后春笋般涌现。幸运地是,开源让越来越多的项目可以直接采用大数据技术,下面就来盘点最受欢迎的十大开源的大...

oschina
2016/08/11
7.9K
10
spark1.4 Windows local调试环境搭建总结

spark1.4 Windows local调试环境搭建总结 1.scala版本scala-2.10.4 官方推荐scala-2.11.7【不推荐,非sbt项目、需要后加载】 2.spark版本spark-1.4.0-bin-hadoop2.6.tgz 3.hadoop3.1版本had...

北京起航
2015/07/08
0
0
20151212 SQL Server Saturday 广州场

2015年12月12日(星期六),20余位 SQL Server 技术粉丝聚集在微软广州办公室。 本次活动有4个主题分享: 主题1:SQL Server 2016技术初探--大数据时代下的新型数据库产品 林默 讲师简介:微...

jimshu
2015/12/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

大数据教程(11.9)hive操作基础知识

上一篇博客分享了hive的简介和初体验,本节博主将继续分享一些hive的操作的基础知识。 DDL操作 (1)创建表 #建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name ...

em_aaron
今天
2
0
OSChina 周四乱弹 —— 我家猫真会后空翻

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @我没有抓狂 :#今天听这个# 我艇牛逼,百听不厌,太好听辣 分享 Led Zeppelin 的歌曲《Stairway To Heaven》 《Stairway To Heaven》- Led Z...

小小编辑
今天
4
0
node调用dll

先安装python2.7 安装node-gyp cnpm install node-gyp -g 新建一个Electron-vue项目(案例用Electron-vue) vue init simulatedgreg/electron-vue my-project 安装electron-rebuild cnpm ins......

Chason-洪
今天
3
0
scala学习(一)

学习Spark之前需要学习Scala。 参考学习的书籍:快学Scala

柠檬果过
今天
3
0
通俗易懂解释网络工程中的技术,如STP,HSRP等

导读 在面试时,比如被问到HSRP的主备切换时间时多久,STP几个状态的停留时间,自己知道有这些东西,但在工作中不会经常用到,就老是记不住,觉得可能还是自己基础不够牢固,知识掌握不够全面...

问题终结者
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部