Spark - Aron's blog - OSCHINA - 中文开源技术交流社区

Aaaaaaaron

高山仰止景行行止

98

经验值

0

开源豆

关注私信

专长领域： 服务器端开发

开发平台： Java EE, Java SE, Golang

连击天

fork: star:

加载中

在实际使用 spark + parquet 的时候, 遇到了两个不解的地方: 我们只有一个 parquet 文件(小于 hdfs block size), 但是 spark 在某个 stage 生成了4个 tasks 来处理. 4个 tasks 中只有一个 ta...

parquet reader spark tasks converter init partitions rowgroup split initialize partition

Spark

2018/10/22 23:19

5.7K

0

前言在平时的 Spark 处理中常常会有把一个如 2012-12-12 这样的 date 类型转换成一个 long 的 Unix time 然后进行计算的需求.下面是一段示例代码: val schema = StructType( Array( StructF...

timezone spark null catalyst apache session expr jdbc hive timestamp cast getid longtype select

Spark

2018/07/04 11:35

4.7K

0

Spark Catalyst 的实现分析转载自:Spark Catalyst 的实现分析 Spark SQL 和 Catalyst 分别对应了 SQL 执行期以及解析期的优化工作，因此 Catalyst 的理解是 Spark SQL 的第一步。在一些 Ca...

plan tree rule catalyst dataset scheme operator star null expression scala spark index tods cache

Spark

2018/07/24 16:25

962

0

没有更多内容

加载失败，请刷新页面

没有更多内容

文章删除后无法恢复，确定删除此文章吗？

取消

确定

动弹删除后，数据将无法恢复

取消

确定

评论删除后，数据将无法恢复

取消

确定

Aaaaaaaron

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈