文档章节

spark streaming常用调优

o
 osc_zoa3moe9
发布于 2019/12/08 21:30
字数 322
阅读 10
收藏 0

精选30+云产品,助力企业轻松上云!>>>

1、Spark Streaming第一次运行不丢失数据

  kafka参数 auto.offset.reset 参数设置成earliest 从最初始偏移量开始消费数据。

2、Spark Streaming精准一次消费

  1. 手动维护偏移量
  2. 处理完业务数据后,再进行提交偏移量操作
  3. 极端情况下,如在提交偏移量时断网或者停电会造成spark程序第二次启动时重复消费问题,所以在涉及到金额或者精确性非常高的场景会使用事务保证精确一次消费。下级数据库需支持事务

3、Spark Streaming控制每秒消费数据的速度

  通过spark.streaming.kafka.maxRatePerPartition参数来设置Spark Streaming从kafka每分区每秒拉取的条数。比如10个分区,每个分区每秒最多拉去1000条。则每秒最高拉去10000条数据。

4、spark streaming背压机制

  把spark.streaming.backpressure.enabled 参数设置为ture,开启背压机制后Spark Streaming会根据延迟动态去kafka消费数据,上限由spark.streaming.kafka.maxRatePerPartition参数控制,

       所以两个参数一般会一起使用。

5、spark streaming优雅关闭

  把spark.streaming.stopGracefullyOnShutdown参数设置成ture,Spark会在JVM关闭时正常关闭StreamingContext,而不是立马关闭

       Kill 命令:yarn application -kill     后面跟 applicationid

o
粉丝 1
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
【Spark】SparkStreaming-Tasks-数量如何设置?

SparkStreaming-Tasks-数量如何设置? sparkstreaming task 数量设置百度搜索 spark内核揭秘-14-Spark性能优化的10大问题及其解决方案 - starksummer - ITeye博客 如何在执行spark streaming...

osc_5s0xzojq
2018/01/11
9
0
【Spark】Sparkstreaming-性能调优

Sparkstreaming-性能调优 Spark Master at spark://node-01:7077 sparkstreaming 线程 数量百度搜索 streaming中partition里用线程池异步优化 - 曾晓森的博客 - CSDN博客 第116课: Spark St...

osc_5s0xzojq
2018/01/11
7
0
【Spark】Sparkstreaming-共享变量-缓存RDD-到底是什么情况?

Sparkstreaming-共享变量-缓存RDD-到底是什么情况? sparkstreaming 多个 rdd百度搜索 Spark Streaming中空RDD处理及流处理程序优雅的停止 - xuanlin的专栏 - 博客园 spark 两个rdd 合并百度...

osc_qvqynsub
2018/01/11
5
0
spark相关文章

spark相关文章 spark 重新分区 repartition和coalescehttps://my.oschina.net/u/2969788/blog/2875636 spark的宽依赖和窄依赖https://my.oschina.net/u/2969788/blog/2870446 spark原理和概念......

西二旗之猫
2018/11/13
8
1
浪尖2019年文章集合

Spark高级玩法
01/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

使用CSS按比例调整图像大小? [重复] - Resize image proportionally with CSS? [duplicate]

问题: This question already has an answer here: 这个问题在这里已有答案: How do I auto-resize an image to fit a 'div' container? 如何自动调整图像大小以适合“div”容器? 31 ans......

fyin1314
今天
18
0
define()与const - define() vs. const

问题: In PHP, when do you use 在PHP中,何时使用 define('FOO', 1); and when do you use 以及何时使用 const FOO = 1; ? ? What are the main differences between those two? 两者之......

法国红酒甜
今天
26
0
将Node.js升级到最新版本 - Upgrading Node.js to latest version

问题: So, I have Node.js installed and now when I tried to install Mongoosejs I got an error telling me that I don't have the needed version of Node.js (I have v0.4.11 and v0.4......

javail
今天
17
0
等到所有jQuery Ajax请求都完成了吗? - Wait until all jQuery Ajax requests are done?

问题: How do I make a function wait until all jQuery Ajax requests are done inside another function? 我如何让一个函数等到所有jQuery Ajax请求都在另一个函数中完成之后? In short...

富含淀粉
今天
17
0
OSChina 周日乱弹 —— 那么长的绳子,你这是放风筝呢

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @ 巴拉迪维:黑豹乐队的单曲《无地自容》 耳畔突然响起旋律,是那首老歌。中国摇滚有了《一无所有》不再一无所有;中国摇滚有了《无地自容》不...

小小编辑
今天
103
2

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部