1
2
3
4
5
6
7
连击 天
fork: star:
加载中
顶
Spark性能优化指南二——高级篇
1.如何判断发生数据倾斜？ 2.为什么会发生数据倾斜? 3.如何定位导致数据倾斜的代码? 4.Spark Web UI哪些参数可以反映数据倾斜？ 5.本文对于数据倾斜提出哪些解决方案？ 前言 继基础篇讲解了每...
顶
原
Hive外部分区表加载flume打到hdfs上文件，读不到.tmp文件
flume打到hdfs上时，按照文件大小生成文件，在达到指定大小之前数据都是以.tmp文件形式保存在hdfs上，hive外部表也会加载这些文件，但是当文件完成后.tmp会消失，这时候hive会报找不到文件的...
原
thrift使用：java作为client端调用python服务端
使用python thrift server，java客户端调用，并返回结果
原
flume1.6.0 和kafka整合（kafkasink只有在1.6.0以上的flume版本才有）
flume avrosource，mem channel，kafka sink的配置，注意：kafkasink只有在1.6.0以上的flume版本才有，之前的版本需要自定义sink。...
Kafka的通讯协议
本文转载自csdn，感谢博主，还没经得博主同意就私自拿来了，不知会不会出什么差子！为了便于理解，在博主文章基础上加了一张图，本篇主要讲kafka通讯协议中的request、respose的结构，messa...
没有更多内容
加载失败，请刷新页面
删除文章
文章删除后无法恢复，确定删除此文章吗？
删除动弹
动弹删除后，数据将无法恢复
评论删除后，数据将无法恢复