加载中
Intellij-idea工具开发spark常见问题解决备案

Intellij-idea工具开发spark常见问题解决备案,环境部署,打包

Ubuntu上手动安装sbt

Ubuntu上手动安装sbt

2016/06/22 16:03
308
idea下 sbt 打包文件

idea下 sbt 打包文件

2016/06/30 11:12
902
Spark Streaming结合Flume、Kafka最新最全日志分析

这是一份良好的可以执行的日志分析,Spark Streaming、Flume、Kafka 最新最全日志分析,请按照要求建立项目工程.关于jar包,建议自己编译.如果还有问题,实在 搞不定的,请联系我给你们编译好的相...

Flume+Kafka+SparkStreaming 最新最全整合

Flume+Kafka+SparkStreaming整合,为日志分析做准备工具.kafka_2.11,flume1.6.参考了google的前四页,baidu的前15页所有相关消息,很有价值,为节约大家时 间,特分享,求点赞...

Spark SQL

Hive On Spark和SparkSQL都是一个翻译层 把一个SQL翻译成分布式可执行的Spark程序。而且大家的引擎都是spark。 两种方式使用SparkSQL,Spark SQL is a Spark module for structured data pro...

2019/04/11 14:56
32
Spark 数据倾斜

什么是数据倾斜 比方WordCount中某个Key对应的数据量非常大的话,就会产生数据倾斜,导致两个后果: OM(单或少数的节点); 拖慢整个Job执行时间(其他已经完成的节点都在等这个还在做的节点...

2019/03/21 09:57
98
Spark 内存管理

Spark 作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。 理解 Spark 内存管理的基本原理,有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳...

2019/03/19 17:48
22

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部