加载中
Apache Flink Task执行之数据流处理流程源码分析

Flink Task执行之数据流处理流程源码分析 从这里的分析已经知道我们编写的代码最终被封装成Flink Task并在一个while循环中由一个线程中不断执行,本篇文章将进一步了解Flink Task处理数据流的...

10/04 19:27
2K
Flink AllowedLateness

Flink AllowedLateness allowedLateness是Flink window中用来容忍一段时间迟到数据的,对allowedLateness最容易的误解是它等同于将watermark减去或者说推迟一段时间,通过推迟窗口触发来容忍...

Flink新内存模型

Flink新内存模型 将Flink从1.7.2升级到1.10.0时出现各种内存溢出问题,Flink1.10提出了全新的内存模型,使用新版Flink理解新的内存模型是必须。对于老的flink我们一般只需配置taskmanager.h...

08/30 20:34
180
Kafka-Flink-Kafka End-to-End Exactly-Once

Kafka-Flink-Kafka End-to-End Exactly-Once End-to-End Exactly-Once 我们知道Flink的checkpoint机制实现了Flink内部的exactly-once语义。而所谓的end-to-end exactly-once即数据从数据源被...

zookeeper digest + acl

zookeeper digest + acl server-server 每个zookeeper节点都要配置 在zoo.cfg下添加 quorum.auth.enableSasl=true quorum.auth.learnerRequireSasl=true quorum.auth.serverRequireSasl=true...

Flink+Disruptor踩坑记

Flink+Disruptor踩坑记 记录一次Flink中使用disruptor的坑,背景是这样的:有一个flink job工作流程是从kafka读取日志数据,经过处理后写入es。写入es的sink采用了disruptor,sink将数据写入...

07/29 21:58
587
ES添加认证

开启认证 在elasticsearch.yml中添加: xpack.security.enabled: true 配置节点间通信互信 2.1 创建一个yml文件,例如cert.yml 添加集群中所有节点信息,例如 instances: name: "node01" dn...

zookeeper和kafka添加Kerberos认证

zookeeper添加kerberos认证 一个3节点的zk集群,3个节点的hostname分别是node01,node02,node03,zk版本3.5.4. 创建3个节点的principle和keytab。 addprinc -randkey zookeeper/node01 add...

过气网红Disruptor源码分析

Disruptor Disruptor是java圈子里著名的并发队列,它是一个基于生产者-消费者模型,并优化了cpu伪共享的高性能队列。要理解disruptor需要理解一下几个概念:RingBuffer,Sequence,Sequencer...

06/21 21:31
290
JAVA8时间插入mysql少了8小时的解决办法

最近在用mybatis时发现,将LocalDateTime插入到数据库时时间少了8小时。用网上其他方法试了不少,比如修改mysql时区,都不能解决。最后发现是JDBC连接的参数写错了。 经常在网上看到jdbc连接...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部