加载中
Spark Job (thrift-server) 动态分配资源

项目中使用spark 自带的thrift-server做hdfs数据查询统计服务。当数据过多时,thrift-server 需要分配大量的资源,当不需要查询时分配当量的资源又显得非常浪费,因此想到是否有可能动态分配...

2016/04/23 15:32
65
spark.streaming.concurrentJobs参数解密

最近,在spark streaming 调优时,发现个增加job并行度的参数spark.streaming.concurrentJobs,spark 默认值为1,当增加为2时(在spark-default中配置),如遇到处理速度慢 streaming applic...

2016/04/23 15:30
41

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部