数据处理 - 个人空间 - OSCHINA - 中文开源技术交流社区

问津已非少年

可能比较懒，博文不定时更新

18

经验值

0

开源豆

关注私信

专长领域： 其它领域, DBA/数据库

开发平台： Scala, Linux/Unix

连击天

fork: star:

加载中

顶

原

荐

从源码看Spark读取Hive表数据小文件和分块的问题

使用Spark进行数据分析和计算早已成趋势，你是否关注过读取一张Hive表时Task数为什么是那么多呢？它跟什么有关系呢？最近刚好碰到这个问题，而之前对此有些模糊，所以做了些整理，希望大家拍...

spark hive hadoop mapreduce apache hdfs tasks reduce filesplit https blog split parquet .net

数据处理

2017/12/14 20:19

4.8K

0

Hive的优化是一个非常复杂的问题，需要考虑到HQL、业务、数据、集群状况、配置等等... 不同的问题有不同的答案，不同的语句有不同的优化技巧。这里是我遇到的一个Hive Map阶段异常缓慢的问题...

hashmap hive style mapjoin join https reduce blog udf hdfs hadoop .net double hashcode info string

数据处理

2017/03/27 00:21

2.3K

0

数据安全性是大部分企业很看重的一个方面，在Hadoop集群环境下该怎么保证数据的安全性？安全分为认证 + 权限，有了Kerberos做认证和Sentry做权限管理，敏感数据对内又该怎么防止泄露？这里做...

udf hive sentry kerberos hadoop 加密算法 hdfs 大数据 blog https .net jdk hash oschina path

数据处理

2016/12/18 22:36

2.4K

2

没有更多内容

加载失败，请刷新页面

没有更多内容

文章删除后无法恢复，确定删除此文章吗？

取消

确定

动弹删除后，数据将无法恢复

取消

确定

评论删除后，数据将无法恢复

取消

确定

问津已非少年

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈