文档章节

2.Spark之简介SQL

鞋底留个洞
 鞋底留个洞
发布于 2016/01/27 10:50
字数 188
阅读 27
收藏 0

Spark SQL是Spark用来处理结构化数据的模块。下面介绍Spark SQL的几个特点。

  • 集成:允许在Spark程序中无缝混入SQL或者类DataFrame API,来查询结构化的数据。

  • 统一数据访问:使用相同的方式来连接多种数据源,包括Hive、Avro、Parquet、ORC、JSON和JDBC,甚至还可以跨数据源合并数据。

  • 兼容Hive:在现有数据的基础上运行Hive查询。Spark SQL使用Hive的前端和元数据,完整的兼容了Hive数据、查询和UDFs。安装也很简单。

  • 标准连接:支持标准的JDBC和ODBC连接。服务模式为商业智能工具提供了标准的JDBC和ODBC连接。


© 著作权归作者所有

共有 人打赏支持
鞋底留个洞
粉丝 2
博文 28
码字总数 28568
作品 0
朝阳
高级程序员
PySpark笔记(一):Spark简介与安装

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark拥有Hadoop ...

洛荷
2017/10/25
0
0
2.Spark Streaming:基本工作原理

Spark Streaming简介 Spark Streaming是Spark Core API的一种扩展,它可以用于进行大规模、高吞吐量、容错的实时数据流的处理。它支持从很多种数据源中读取数据,比如Kafka、Flume、Twitter...

weixin_32265569
2017/11/14
0
0
盘点最受欢迎的十个开源大数据技术

大数据已然成为当今最热门的技术之一,正呈爆炸式增长。每天来自全球的新项目如雨后春笋般涌现。幸运地是,开源让越来越多的项目可以直接采用大数据技术,下面就来盘点最受欢迎的十大开源的大...

oschina
2016/08/11
6.4K
10
spark1.4 Windows local调试环境搭建总结

spark1.4 Windows local调试环境搭建总结 1.scala版本scala-2.10.4 官方推荐scala-2.11.7【不推荐,非sbt项目、需要后加载】 2.spark版本spark-1.4.0-bin-hadoop2.6.tgz 3.hadoop3.1版本had...

北京起航
2015/07/08
0
0
利用Spark Streaming来实现实时的数据管道服务

现在需要搜集用户的行为记录,之前我们打算采用AWS提供的服务,大致架构是这样的: 建立一个rest来收集来自服务器或者是终端的(从手机端,网页)的数据,之后将这些数据放到 Kinesis Streamin...

AC-carrot
2016/02/26
84
0

没有更多内容

加载失败,请刷新页面

加载更多

Coding and Paper Letter(三十九)

资源整理。 1 Coding: 1.Python库benchmark rio s3,用于在访问S3上的文件时对Rasterio / GDAL的多线程性能进行基准测试的工具。 benchmark rio s3 2.Pangeo-Binder Cookiecutter模板。 cook...

胖胖雕
49分钟前
2
0
Promise 对象

Promise(承诺) 的含义 Promise 是异步编程的一种解决方案,比传统的解决方案——回调函数和事件——更合理和更强大。它由社区最早提出和实现,ES6 将其写进了语言标准,统一了用法,原生提供...

简心
51分钟前
1
0
让UI设计师崩溃的瞬间,你经历过哪些?

隔行如隔山,这句话人人耳熟能详,但其实隔行并不可怕,大家各谋其事,各尽其职,倒也互不打扰,真正可怕的是,是内行还要受外行指点江山,而最难的部分,便是那沟通。流畅的沟通,和声细语,...

mo311
53分钟前
3
0
python进制转换

#进制转换print(bin(10)) #十进制转换成二进制print(oct(10)) #十进制转换成八进制print(hex(10)) #十进制转换成十六进制print(int('1010',2)) #二进制转十进制print(int(...

fadsaa
今天
13
0
syntax error near unexpected token

最近不断重复在虚拟机CentOS测试安装gitlab,因为gitlab有一个脚本需要饭强才能下载,于是我先在windows下载好再上传到虚拟机,可是执行脚本的时候提示“syntax error near unexpected toke...

W_Lu
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部