Flink 系例 之 Dashboard安装与界面操作

原创
02/24 16:18
阅读数 2.2K

前期入门讲解了需多常用算子、方法、和连接器的使用与代码示例,本文讲解如何安装Apache Flink Dashboard平台与界面基本操作。

Apache Flink Dashboard 是Flink的客户端管理控制平台,也是JOB运行时任务跟踪与管理的显示平台。撑握基本的应用是学习Flink必备的,通过管理控制台界面的操作,我们能够知晓:

  • Task JOB的运行健康状态;
  • 上传打包的客户端应用程序;
  • 运行Task JOB如何分配可用资源;
  • 启停Task JOB任务、查看Task JOB执行能力;
  • 查看Task JOB监控维度指标;

安装Flink服务

参见另一文章:  linux 安装 flink 1.11.1

Dashboard基本操作

参考上述“安装Flink服务”后,访问:http://localhost:8081

主页

默认进入的是客户端主页,在主页中显示Available Task Slots(翻译过来叫可用的任务槽),是Flink根据flink-1.11.1/conf/flink-conf.yaml配置文件中的taskmanager.numberOfTaskSlots值显示,按照网上有一个 Flink Task Slots 计算公式:
Flink Available Task Slots = Total Task Slots - 每个任务中的最大并行数(Parallelism)
但我个人的理解,即当前TaskJOB中所有算子并行度合计的最大可用数,即为 Flink Available Task Slots 的剩余数;
这个我没有认真去求证,但有一篇博文件可以作为参考来理解 slot https://blog.csdn.net/kzw11/article/details/104016868
所以实际生产使用,需要评估job客户端运用量,以免无法最大化发挥与利用平台有效资源;

  • 左上为集群数量;
  • 右上为正在运行任务数量;
  • 中间为运行任务作业列表;
  • 下方为已完成的任务作业列表;
完成的工作

Completed Jobs 列表中显示Job名称,起动进间,用时时长,结束时间,任务个数(起始个数,已完成个数,失败任务,未运行任务),Status:显示完成状态(falied:失败,finished:已完成)
任务总览

从运行列表中点击JOB名称,进入JOB作业的详细监控界面
 
  • 上方显示任务名,此次执行任务的标识ID,开始时间,结束时间,执行时长;
  • 中间为执行流程,请示数据流的输入,算子运行模型,数据流的输出;
  • 下方列表分别为:数据源,计算方式,已计算的字节大小,并行度,起动时间,用时进长结束时间等,任务个数等;
Job作业管理
用于显示当前作业的服务信息与运行时的服务日志、客户端打印日志等;

  • Configuration:显示当前jobManager的所在主机的基本信息(jobManager在master服务上运行),如:服务地址,端口,内存池大小,CPU总进程数,数据缓存临时目录,ssh端口等;
  • Logs:为jobManager运行时的服务日志
  • Stdout:为运行客户端时向控制台输出的日志信息
  • Log List:flink平台所有日志清单,有多种类型的输出日志文件,点击对应的日志文件名,可实时查看当前Job作业的打印日志,一般在此列表中排查job作业的运行故障日志;

提交新工作
1.Add New:新建客户端,点击按钮弹出窗口,添加与选择本地目录下的客户端jar包,将客户端上传Job列表;
2.点击列表中JobName,则显示参数与配置项,输入相关配置,点击Submit提交与运行Job任务;
3.任务提交后,则可以“任务总览”界面查看Task JOB运行过程与运行状态;

说明:
  • 事件执行类 Entry Class: com.flink.demo.FlinkWordCount
  • 执行参数 Program Arguments:/opt/flink-1.11.1/temp/2.txt
  • 并行度数量Parallelism:1(可改)
 

Apache Flink Dashboard界面总体功能不多,但简捷实用,对于后续监控、跟踪、管理Task JOB有不可缺的作用,尽可能多熟悉操作界面的功能与指标。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部