文档章节

Flink学习笔记-编译和安装

xtuhcy
 xtuhcy
发布于 2019/11/05 15:42
字数 431
阅读 76
收藏 0

编译和安装

blink是阿里巴巴贡献的分支,由于阿里巴巴已经收购Flink的母公司Data Artisans,后续Flink很多特性应该会参考blink,所以本次源码的学习会参考blink分支,blink主要是基于flink 1.5.1分支改进

下载代码

git clone https://github.com/apache/flink.git

切换到blink分支

git checkout blink
//查看分支图
git log --graph --decorate --oneline --simplify-by-decoration --all 

源码编译

跳过测试编译方法

mvn clean install -DskipTests

还有一种加快编译的方式,跳过测试、QA插件和JavaDocs

mvn clean install -DskipTests -Dfast

mac pro 256G,scala version 2.11.8,java verison 1.8.0_151-b12,maven version 3.5.4。编译总耗时 27:13 min,编译后生成build-target目录

运行

编译完成后生成build-target目录

cd build-target
./bin/start-cluster.sh

启动可以通过http://localhost:8081 查看flink运行情况

启动完毕后会有两个flink进程

org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint
org.apache.flink.runtime.taskexecutor.TaskManagerRunner

Flink的整体架构图如下:

  • StandaloneSessionClusterEntrypoint进程即为JobManager
  • TaskManagerRunner进程即为TaskManager

WordCount Demo

由于采用的是blink分支,client需要使用alibaba的包

<dependency>
        <groupId>com.alibaba.blink</groupId>
        <artifactId>flink-streaming-scala_2.11</artifactId>
        <version>1.5.1</version>
</dependency>

example可以参考这里,直接运行main方法采用的本地模式。如果希望采用远程模式运行,可以后台提交jar包,如图:

编译后会打包相关的example包,在flink/flink-examples/flink-examples-streaming/target目录下,可以使用WordCount.jar上传运行。

© 著作权归作者所有

xtuhcy

xtuhcy

粉丝 122
博文 18
码字总数 20733
作品 1
东城
后端工程师
私信 提问
加载中

评论(0)

Flink从入门到放弃(入门篇2)-本地环境搭建&构建第一个Flink应用

戳更多文章: 1-Flink入门 2-本地环境搭建&构建第一个Flink应用 3-DataSet API 4-DataSteam API 5-集群部署 6-分布式缓存 7-重启策略 8-Flink中的窗口 9-Flink中的Time Flink时间戳和水印 Br...

王知无
2019/05/11
0
0
Flink单节点安装及运行笔记

Flink 一种大数据计算引擎,和其他计算引擎不同的是,它同时支持流处理和批处理的特点; 那么首先介绍下,这两点的概念。流处理,想象成水流,长江之水,自西而向东流,终汇入大海,源远流长...

噜噜侠
2019/07/18
149
0
Flink 源码解析 —— TaskManager 处理 SubmitJob 的过程

TaskManager 处理 SubmitJob 的过程 https://t.zsxq.com/eu7mQZj 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程...

zhisheng_t
2019/09/03
114
0
Flink 源码解析 —— 分析 Streaming WordCount 程序的执行过程

流处理 WordCount 程序 https://t.zsxq.com/qnMFEUJ 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、F...

zhisheng_t
2019/09/01
95
0
Flink 源码解析 —— Flink TaskManager 有什么作用?

TaskManager 有什么作用 https://t.zsxq.com/RZbu7yN 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、F...

zhisheng_t
2019/09/01
121
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周三乱弹 —— 提高不了工作效率和脸有关系

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @薛定谔的兄弟 :分享洛神有语创建的歌单「我喜欢的音乐」: 1 《夏令时记录(piano.ver)》- ゆめこ 手机党少年们想听歌,请使劲儿戳(这里) ...

小小编辑
今天
67
2
List的一波操作

public static void main(String[] args) { List<Entity> list = new ArrayList<>(); list.add(new Entity(1)); list.add(new Entity(2)); list.add(new Entity(3)); ......

那个猩猩很亮
今天
75
0
Spring基础

主要用于service层; 轻量级java开发框架; 各层 web层:struts,spring-MVC service层:spring dao层:hibernate,mybatis , jdbcTemplate --> spring-data Spring核心:控制反转IOC 切面编...

七宝1
今天
30
0
解决overflow+border-radius+transform圆角问题

网上还有其他版本,但是对我来说都不好使,下面是我在Chrome上的代码。overflow:hidden依然是不能正常使用,换成unset就可以,读者如果有更好的解决方案,请留言,谢谢。 <figure> <img...

hi懒喵
今天
53
0
《C语言》—— 数组

书籍使我变成了一个幸福的人,使我的生活变成轻松而舒适的诗。——高尔基 本文已经收录至我的GitHub,欢迎大家踊跃star 和 issues。 https://github.com/midou-tech/articles 点关注,不迷路!...

龙跃十二
今天
84
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部