Flink设置并行度的方式和执行级别

2019/04/10 10:10
阅读数 49

Flink设置并行度的几种方式

  1. 代码中设置setParallelism()

    • 全局设置:

      env.setParallelism(3); 
    • 算子设置(部分设置):

      sum(1).setParallelism(3)
  2. 客户端CLI设置:-p

    ./bin/flink run -p 3
    
  3.  系统设置:

    修改配置文件设置/conf/flink-conf.yaml的parallelism.defaul数值

      4. 最大并行度设置

    • 全局设置:

      env.setMaxParallelism(n) 
    • 算子设置(部分设置):

      sum(1).setMaxParallelism(n)

      默认的最大并行度是近似于operatorParallelism + (operatorParallelism / 2),下限是127,上线是32768. 

Flink配置级别:算子>全局env>CLI>配置文件 。

.setParallelism()设置的并行度需要小于.setMaxParallelism()设置的最大并行度。

 

原文出处:https://www.cnblogs.com/successok/p/12516059.html

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部