加载中
kafka之重复消费数据

在进入主题之前,我们先思考一个问题。 问题 kafka消费者使用自动提交的模式,提交间隔为2s,消费者在获取数据的时候处理0.5s,从kafka拉取过来的数据只够处理1秒。那么消费者下次拉取过来的...

2018/10/07 19:43
1.5K
spark--当分组遇到排序的解决思路

场景 现在有如下数据格式 图书分类,图书名,数量 现在想统计全部分类中数量最多的书名以及数量 场景解析 如果不基于spark,我们来思考这个问题,数据量大内存是放不下,分类也不确定有多少类...

2018/09/04 21:25
2.4K
hbase查询解析

hbase查找流程图 流程说明 从zk获取meta地址 客户端查询一个数据,先根据zookeeper获取meta表所在的region信息,meta表里存着region的各种信息,但是他也是在region里的,会被一个regionser...

2018/08/31 21:05
1K

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部