Flink----(2)flink部署安装

原创
2021/05/31 18:13
阅读数 121

Flink部署安装分两种模式:Standalone模式与Yarn模式。

1.Standalone模式流程

1.下载解压安装包

下载 flink-1.12.1-bin-scala_2.12.tgz安装包,从官网下载:https://flink.apache.org/downloads.html ,我这里直接从centos中下载:wget https://archive.apache.org/dist/flink/flink-1.12.1/flink-1.12.1-bin-scala_2.12.tgz

2.环境变量配置

如下截图是我下载安装包的位置

配置环境变量

3.启动flink服务

在bin目录下启动

发现多了 TaskManagerRunner 与 StandaloneSessionClusterEntrypoint两个进程,测试下访问界面:curl http://localhost:8081 。截图如下:

公网测试如下:
说明 flink启动成功。可以提交job了。

4.flink配置文件详解

#==============================================================================
# Common
#==============================================================================
# jobmanager的ip地址
jobmanager.rpc.address: localhost

# jobmanager的端口号
jobmanager.rpc.port: 6123

# JobManager总进程内存大小
jobmanager.memory.process.size: 1600m

# TaskManager总进程内存大小
taskmanager.memory.process.size: 1728m

# 每个TaskManager提供的任务槽数,即每个TaskManager提供一个线程。
taskmanager.numberOfTaskSlots: 1

# 默认并行度,它与上面槽数区别:槽数是指可以提供的线程数,并行度指程序实际运行时所用的线程数
# 即:槽数可以提供10个线程,但并行度用不完10个线程,最多用6个。
parallelism.default: 1

#==============================================================================
# Rest & web frontend
#==============================================================================
# flink web页面端口
#rest.port: 8081

# flink web页面服务端ip,我将flink部署在阿里云上,没配置外网访问是因为这里默认就开放了
#rest.address: 0.0.0.0

# flink web页面服务端端口范围,默认的8081在这个范围之内
#rest.bind-port: 8080-8090

#
#rest.bind-address: 0.0.0.0

# 是否从基于web的jobmanager启用作业提交
#web.submit.enable: false

如上配置是比较基础的配置。

展开阅读全文
加载中

作者的其它热门文章

打赏
0
0 收藏
分享
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部