加载中
Apache Flink 1.8.0 中的状态生存时间特性:如何自动清理应用程序的状态

原文链接:https://flink.apache.org/2019/05/19/state-ttl.html 对于许多状态流式计算程序来说,一个常见的需求是自动清理应用程序的状态(state),以便有效地控制状态大小,或者控制程序访...

2019/08/28 21:05
25
Flink Kafka 实时日志处理实例

实时计算引擎Flink demo 了解一个东西除了关注当前技术本身,更应该联系整个应用环境来看。本文介绍一个从数据采集到入queue,再用Flink消费queue的消息,进行处理后写入ES Hbase HDFS等存储...

Flink SavePoint

SavePoint 和 CheckPoint的区别: checkpoint提供一种轻量级和快速恢复机制,整个生命周期由Flink框架管理,作业程序在运行期间不允许变更,任务执行结束后会删除checkpoint数据,除非显式配...

2019/08/12 15:41
15
Flink State 测试

1. 任务异常从checkpoint恢复 环境:Flink1.8 local模式 根据运行结果可以看出,在设置显式设置uidHash值的情况下当前版本会导致flink自身的checkpoint恢复失败。 测试结果如下图: 2. SaveP...

2019/08/06 15:22
51
Spark Streaming 实时流处理总结

1.实时流处理项目 流程图 日志收集框架Flume--->消息队列Kafka--->Spark Streaming--->HBase--->数据处理结果可视化。 实时流处理适用场景:时效性高 数据量大 离线计算和实时计算对比: 离线...

个人服务容器化和基础监控容器化

1.前景 自己比较喜欢玩机器,目前手上有4台常用的机器如下,平常跑一些自己写的小程序还有博客和代理都在上面。 1 1核1G 2 1核2G 3 1核1G 4 2核4G 每次拿到一台新的vps环境安装就是个大问题,...

Kafka 教程(一) 第一个实例

kafka介绍:Kafka是最初由Linkedin公司工程师用Java和Scala语言开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,可以理解为一个消息...

2018/08/08 11:48
79
Docker 服务编排 Mesos Swarm Kubernetes 三种模式实践

提起Docker容器化 不得不提服务编排,众所周知目前Docker常用的服务编排模式有三种, Mesos DockerSwarm Kubernetes,下面将详细介绍这三种服务编排模式的架构和环境搭建。 一. Mesos 1.Mes...

分布式日志收集框架Flume 部署说明

认识Flume 1.Flume简介:Flume是由Cloudera提供的一个分布式,高可靠,高可用的服务,用于分布式的海量日志的高效收集,聚合,移动系统。 官网概述:Apache Flume is a distributed, reliab...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部