加载中
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合

个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实 时性比较强的,数据量比较大的,我们可以采用Storm,那...

2015/06/27 23:48
142
Kafka消费组(consumer group)

一直以来都想写一点关于kafka consumer的东西,特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本,笔者也觉得时机成熟了,于...

2018/09/28 18:45
11
Kafka在zookeeper中的存储

一、Kafka在zookeeper中存储结构图 二、分析 2.1 topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 [zk: localhost:2181(CONNECTED) 1] get /brokers/topic...

Flume使用介绍

1、Flume介绍 Flume是cloudera公司开源的一款分布式、可靠地进行大量日志数据采集、聚合和并转移到存储中;通过事务机制提供了可靠的消息传输支持,自带负载均衡机制来支撑水平扩展;并且提供...

2017/10/19 13:30
20
最通俗易懂Storm教程

概述: storm集群有nimbus、supervisor组成 storm集群nimbus只有一个,supervisor可以多个 讲故事: 故事1: nimbus就是老板,supervisor就是包工头,worker就是工人。 Topology就是一车砖头...

Storm的通信机制

目录 前言: 1、Worker进程间通信原理 2、Worker进程间技术(Netty、ZeroMQ) 3、Worker 内部通信技术(Disruptor) 总结: 目录 前言: 这篇文章,博客主要介绍下Storm中Worker进程间和进程内部...

Storm目录树、任务提交、消息容错、通信机制

Storm技术增强 注:学习本课程,请先学习Storm基础 课程目标: 通过本模块的学习,能够掌握Storm底层的通信机制、消息容错机制、storm目录树及任务提交流程。 课程大纲: 1、 Storm程序的并发...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部