加载中
Flink 幕后之内存管理

Flink 幕后之内存管理 引言 目前很多大数据处理框架,例如Hadoop、Spark、Storm、Flink等。它们都基于JVM语言开发(java or scala),运行在JVM上。为了加速合并或者排序(基于磁盘的方式通常...

Netty protobuf 整合 -- 使protobuf可同时处理多种类型

简要介绍 在带宽固定的情境下,压缩消息大小可以提升网络传输效率。另外,如果消息需要经过多个组件,那么收益更为可观。 消息序列化一般不会采用jdk自带的Serializable,更多的会采用thrif...

06/14 15:30
9
Flink 读取Kafka写入Hive

官方文档:https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/connectors/streamfile_sink.html 在流式处理系统中,Flink和kafka的结合很是经典。我们可以通过Flink消费Kaf...

Flink 增量式checkpoint 介绍

在Flink中管理大量的状态--增量式的检查点的介绍 本文由Flink 博客 翻译而来,为了叙述的可读性和流畅性,笔者做了少量的修改。 Apache Flink是为了“有状态”的处理流式数据建立的。那么,在...

2018/11/08 19:40
527
Flink 实战 : 统计网站PV,UV

Flink 实战:统计网站PV,UV PV,UV PV(Page View) : 页面点击次数 UV(User View): 独立用户访问次数 假定需求如下,每间隔1分钟,统计过去5分钟的UV,PV。很容易想到,通过数据库的count...

2018/06/27 16:16
2.5K
Flink实战: 结合Kafka构建端到端的Exactly-Once处理程序

前言 在消息处理过程中,除了Flink程序本身的逻辑(operator),我们还需要和外部系统进行交互,例如本地磁盘文件,HDFS,Kafka,Mysql等。虽然Flink本身支持Exactly-Once语义,但是对于完整...

Apache Flink 端到端(end-to-end)Exactly-Once特性概览 (翻译)

Apache Flink 端到端(end-to-end)Exactly-Once特性概览 本文是flink博文的翻译,原文链接https://flink.apache.org/features/2018/03/01/end-to-end-exactly-once-apache-flink.html 2017...

Redis存储揭秘(翻译)

Redis存储揭秘(翻译) 原文地址: http://oldblog.antirez.com/post/redis-persistence-demystified.html 我在Redis的部分工作是阅读博客,论坛消息以及推特上关于Redis的搜索。对于一个开发...

三分钟看Netty(3) select poll VS epoll

前言 上一节主要讲述了BIO和NIO的区别。BIO每一步都是阻塞式的;NIO仅在select的时候阻塞,并且在获取到IO权限后,可以同时操作多个IO。 在NIO的具体实现上,又有不同。在linux上主要分为sel...

2018/03/31 09:29
446
三分钟看Netty (2) 何为IO多路复用

粗暴的解释 从JDK 1.0开始,用户就可以通过Socket进行网络编程。在JDK 1.4后,又提供了一种全新的编程方式。 在翻阅文档的时候,相信不少人对“多路复用”这个词感到陌生和费解。 对于程序员...

2018/03/09 22:38
385
三分钟看Netty(一) 纵观全局

任性的前言 谈起Netty,大多人都很熟悉,业界主流的网络通讯框架。想要深入学习,现在也有非常多的博客视频可以参考。Netty对于想要了解多线程,高并发的同学来说,是一个非常不错的学习途径...

2018/03/07 22:29
64
Java ThreadLocal详解

在多线程开发中,ThreadLocal是非常常见的Java API。它可以轻松的创建一个线程安全的变量,使得每一个线程拥有各自的实例变量。 以下代码为每一个线程分配了一个线程ID。 public class Thre...

Kafka0.11发布--流式计算新玩法

Kafka streams的相关中文资料非常少,笔者希望借该代码讲述一下自己对kafka streams API的用法。 kafka streams从0.10.0开始引入,现在已经更新到0.11.0。首先它的使用成本非常低廉,仅需在代...

2017/08/19 23:17
54
数据库资源竞争原理及解决办法 (附代码和测试用例)

资源竞争简介 在多线程环境中,大家耳熟能详的是死锁,活锁。还有一个容易被忽略的是资源竞争(race condition)。这三个在很大程度上是非常相似的,这里不展开详述。 在开发过程中,相信有些...

2016/11/05 08:24
82

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部