文档章节

第一章:Kafka介绍

ifnoelse
 ifnoelse
发布于 2014/11/14 03:58
字数 921
阅读 67
收藏 0

        欢迎来到Kafka的世界

        当今世界,应用程序(商业、社会、或者其他类型)不断的产生实时数据,这些数据需要通过简单的方式快速可靠的传送给各种接收者。大多数时候,这些信息的生产者与消费者彼此独立不能互相访问。有时候这一点导致需要重建信息的生产者或者消费者,用以在他们之间建立一个集成点。因此,需要一种机制,能把信息的生产者与消费者无缝的集成起来,以避免在应用程序另一端任何形式的重写。

        在当前大数据时代,第一个重大的挑战是收集这些海量数据,第二挑战是分析这些数据,这些分析通常包括以下等类型的数据。

    • 用户行为数据

    • 应用程序性能跟踪

    • 实时日志数据

    • 事件消息

  消息发布是一种在消息传递的帮助下连接各种应用程序的机制,通过一个消息代理,比如kafka,将大量实时数据快速路由到多个消费者,Kafka提供了一种生产者与消费者之间的无缝集成机制,既不需要阻塞生产者产生消息,也不需要让生产者知道谁是消费者

        Apache Kafka是一个开源的分布式消息发布订阅系统,主要的设计特点如下:

    • 持久化消息:要获取大数据的真正意义,任何类型的数据都不能丢失。Apache Kafka被设计成,存储大量消息数据,甚至TB级时,性能仍是常数时间O(1)

    • 高吞吐量:

    • 分布式:Apache Kafka在Kafka服务器上支持消息分区,并且向一组消费者发送消息时能够保证消息语义的顺序。

    • 多个客户端支持Apache Kafka系统可以非常简单的与其他不同平台整合,比如Java, .NET, PHP, Ruby, 和 Python。

    • 实时:由生产者线程产生的消息应该立刻被消费者线程看见,这对于基于事件驱动的系统,例如复杂事件处理系统(CEP),是至关重要的特性。

        Kafka提供了一个实时的发布-订阅解决方案,克服了数据量在以数量级增长的情况下实时数据的使用,Kafka同样支持在Hadoop系统中数据的平行加载。

        下图展示了一个基于Kafka消息系统的典型数据统计分析系统解决方案:

        

        在生产端有各种不同的生产者,比如以下:

    • 前端web应用程序生成的日志

    • 生产者商代理生成web分析日志

    • 生产者适配器生产的转换日志

    • 生产者服务生产的调用跟踪日志

    在消费端有各种不同的消费者,比如以下:

    • 离线消费者,在hadoop或者传统的数据仓库中使用或存储消息

    • 近似实时消费者,在NoSQL数据库中,比如:HBase或Cassandra,使用或存储消息以供实时分析

    • 实时消费者,在内存数据库过滤消息并触发后续组件相关事件

    Kafka的必要性

    大量数据由具有基于网络呈现与活动的公司生产,数据是这些基于互联网的系统的新材料之一,通常包括用户活动事件,对应有登陆、页面浏览、点击、社交网络活动(例如:喜欢、分享和评论)和操作及系统指标。

© 著作权归作者所有

共有 人打赏支持
ifnoelse
粉丝 0
博文 19
码字总数 3630
作品 0
朝阳
程序员
写给大数据开发初学者的话 | 附教程

导读: 第一章:初识Hadoop 第二章:更高效的WordCount 第三章:把别处的数据搞到Hadoop上 第四章:把Hadoop上的数据搞到别处去 第五章:快一点吧,我的SQL 第六章:一夫多妻制 第七章:越来...

小数点
2017/12/07
0
0
干货满满,腾讯云+社区技术沙龙 Kafka Meetup 深圳站圆满结束

云加社区技术沙龙 发表于腾讯云技术沙龙订阅 56 干货满满,腾讯云+社区技术沙龙 Kafka Meetup 深圳站圆满结束 云+导语:4月22日,由腾讯云和 Kafka 社区主办、开源中国协办的腾讯云+社区技术...

腾讯云加社区
04/25
0
0
大数据实验室(大数据基础培训)——Kafka的安装、配置及基础使用

为某企业做的培训,完整文档见:http://gudaoxuri.github.io/bd-lab/ 11. Kafka 11.1. 环境准备 cd /opt/workspaces 创建Kafka数据目录 mkdir data/kafka 创建Kafka日志目录 mkdir logs/kaf...

孤岛旭日
2016/05/06
38
0
kafka消息系统之消费者模型使用介绍。

这两天工作中有用到kafka消息系统,因为之前不熟悉kafka消息系统,所有在这里总结一点自己在使用过程中的方法: 有关kafka的介绍,网上有很多的资料,这里就不在介绍了。这次介绍的是kafka的消...

qq_26105397
05/07
0
0
Kafka 0.10.x的Consumer 和 Producer的Java实现

1.Kafka 介绍 Apache Kafka® is a distributed streaming platform. 官网地址 2.maven 依赖 3.手动创建一个 Topic 安装 Kafka 的步骤省略 确保已经安装了Kafka 和 zookeeper(尽量不用Kafka...

移动的红烧肉
05/31
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

阿里云API网关使用教程

API 网关(API Gateway)提供高性能、高可用的 API 托管服务,帮助用户对外开放其部署在 ECS、容器服务等阿里云产品上的应用,提供完整的 API 发布、管理、维护生命周期管理。用户只需进行简...

mcy0425
31分钟前
4
0
解决远程登陆误按ctrl+s锁屏假死恢复

使用putty时,偶尔发生屏幕假死,不能输入等情况。 后来发现,只要数据ctrl+s,就会假死;输入ctrl+q就可以恢复过来。 很多刚从windows转移到linux上来工作的朋友,在用vi/vim编辑文件时,常常...

HJCui
34分钟前
0
0
@Transactional

事务管理是应用系统开发中必不可少的一部分。Spring 为事务管理提供了丰富的功能支持。Spring 事务管理分为编程式和声明式的两种方式。编程式事务指的是通过编码方式实现事务;声明式事务基于...

asdf08442a
38分钟前
2
0
widows下强制解除8080端口占用问题

使用win+R打开命令窗口 输入以下命令查看哪个任务占用了8080端口 netstat -ano |findstr "8080" 然后通过任务id强制关闭占用该端口的进程 tskill 10044 // 自己的试情况而定,这个ID是LISTE...

_Artisan
48分钟前
2
0
productFlavors简单实用

最近项目中,不同环境需要配置的参数越来越多,为了减少修改代码次数。研究了一下productFlavors的使用方式,总结如下 1. as3.0以上版本使用productFlavors时需要指定一个flavorDimensions,...

火云
50分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部