文档章节

【互动问答分享】第5期决胜云计算大数据时代Spark亚太研究院公益大讲堂

Spark亚太研究院
 Spark亚太研究院
发布于 2014/07/28 16:37
字数 553
阅读 313
收藏 0

Spark亚太研究院100期公益大讲堂 【第5期互动问答分享】

 

Q1:spark怎样支持即席,应该不是spark sql吧,是hive on spark么?

  • Spark1.0 以前支持即席查询的技术是Shark;

  • Spark 1.0和 Spark 1.0.1支持的即席查询技术是Spark SQL;

  • 尚未发布的Spark 1.1开始 Spark SQL是即席查询的核心,我们期待Hive on Spark也能够支持即席查询;

Q2:现在spark 1.0.0版本是支持hive on spark么,它支持cli交互式访问么?

  • Spark1.0.0不支持hive on spark;

  • hive on spark这个项目正在开发中,预计在 Spark 1.1版本的时候发布;

  • Spark 1.0.0现在还不直接支持cli访问;

Q3:spark sql和hbase怎么结合呢?

  • Spark sql和hbase即可要借助于Spark core的RDD功能;

  • 使用hbase的时候需要导入hbase在Spark上的包

  • Spark 1.0.0现在还不直接支持cli访问;

Q4:sparkSql支持sql全吗?老师 可以把现在的PLSQL 直接转换为 SPARKSQL么? 

  • Spark sql现在支持SQL-92的基本功能,后续版本不会不断增强;

  • PLSQL 现在还不能够直接转为Spark SQL;

  • 想要更强的SQL支持,在Spark1.0.0和Spark1.0.1版本可以考虑Hive in Spark SQL的功能;

Q5:如果支持hive on spark,那么什么时候用spark sql,什么时候用hive on spark?

  • Hive on spark预计在Spark 1.1这个版本发布,核心功能是要在Spark上使用已有的Hive的一切数据和功能;

  • 和hive不相关都可以使用Spark SQL;

  • 从理论上讲随着Spark SQL在未来版本的不断增强,可以做hive的一切事情;

Q6:Spark SQL可以使用group by 吗?

  • Spark SQL可以使用group by的功能;

  • 在SchemaRDD中有group by的支持;

  • groupBy(groupingExprs: Expression*)(aggregateExprs: Expression*): SchemaRDD

  • Performs a grouping followed by an aggregation.

 

Q7:spark sql 现在支持sql的那些操作  一直在官网上没能找到相应的document?

© 著作权归作者所有

Spark亚太研究院
粉丝 76
博文 73
码字总数 35236
作品 0
朝阳
技术主管
私信 提问
【互动问答分享】第10期决胜云计算大数据时代Spark亚太研究院公益大讲堂

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第10期互动问答分享】 Q1:Spark on Yarn的运行方式是什么? Spark on Yarn的运行方式有两种:Client和Cluster模式 Client模式如...

Spark亚太研究院
2014/09/04
253
0
【互动问答分享】第13期决胜云计算大数据时代Spark亚太研究院公益大讲堂

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第13期互动问答分享】 Q1:tachyon+spark框架现在有很多大公司在使用吧? Yahoo!已经在长期大规模使用; 国内也有公司在使用; ...

Spark亚太研究院
2014/09/24
135
0
【互动问答分享】第17期决胜云计算大数据时代Spark亚太研究院公益大讲堂

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第17期互动问答分享】 Q1:为了加快spark shuffle 的执行速度是否可以把sparklocaldirs 指向一块固态硬盘上面,这样做是否有效果...

Spark亚太研究院
2014/10/17
195
0
【互动问答分享】第12期决胜云计算大数据时代Spark亚太研究院公益大讲堂

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第12期互动问答分享】 Q1:jobserver 企业使用情况如何? 中国有一家视频网站已经使用超过JobServer超过半年的时间; 2013年和2...

Spark亚太研究院
2014/09/19
181
1
【互动问答分享】第15期决胜云计算大数据时代Spark亚太研究院公益大讲堂

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第15期互动问答分享】 Q1:AppClient和worker、master之间的关系是什么? :AppClient是在StandAlone模式下SparkContext.runJob...

Spark亚太研究院
2014/10/08
128
0

没有更多内容

加载失败,请刷新页面

加载更多

iStatistica Pro for Mac(系统监控工具) v1.1.2

iStatistica Mac破解版推荐给大家!iStatistica Pro Mac是一款功能强大的系统监控工具,实时监控CPU,内存,网络,磁盘卡,帮你轻松删除不需要的文件和文件夹,释放电脑内存,提升运行速度。...

云不若
21分钟前
6
0
Vim和Ctags提示和技巧[关闭]

我刚刚使用我的Vim(或者更确切地说是gVim)安装了Ctags (以帮助进行C ++开发),并希望找到您最喜欢的命令,宏,快捷方式,以及随之而来的提示...... 分享你最好的武器库。 在Vim开发中你会...

技术盛宴
24分钟前
8
0
tensorlfow安装

系统环境 nv-jetson-nano-sd-card-image-r32.3.1.zip 1 基本工具安装 默认安装了python 3.6.8,需要安装如下基本软件 sudo apt updatesudo apt install curlcurl https://bootstrap.pyp...

JosiahMg
24分钟前
5
0
彻底修改maven项目工程的名称

1

观海562
43分钟前
6
0
整数反转(力扣)

整数反转 一、题目描述 给出一个 32 位的有符号整数,你需要将这个整数中每位上的数字进行反转。 示例 1: 输入: 123 输出: 321 示例 2: 输入: -123 输出: -321 示例 3: 输入: 120 输出: 21 ...

迪迪迪王
53分钟前
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部