文档章节

Apache kafka的安装和配置

MaxBill
 MaxBill
发布于 2017/06/01 09:50
字数 508
阅读 20
收藏 0
点赞 0
评论 0

1.Apache kafka简介

       Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消费。(摘自百度)

2.Apache kafka下载

       Kafka官方网地址:http://kafka.apache.org/

       最新版本:0.10.2.1

       最新版下载地址:http://mirrors.hust.edu.cn/apache/kafka/0.10.2.1/kafka_2.12-0.10.2.1.tgz

3.Apache kafka安装

       tips:基于jdk的,大家操作前自行安装jdk

       tips:kafka是以来于zookeeper服务的,请在之前安装zookeepoer(见我的博客:zookeeper的安装

                配置教程)

       <1>解压下载的kafka_2.12-0.10.2.1.tgz二进制包,如下图:

             

       <2>进入config文件夹编辑server.properties

             找到并编辑log.dirs=自己的日志路径,这里的目录自己修改成自己喜欢的
             找到并编辑zookeeper.connect=localhost:2181。表示连接本地运行的zookeeper
             Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181

4.Apache kafka启动

         重要:请确保在启动Kafka服务器前,JDK已经正确安装,Zookeeper实例已经开始运行

         进入kafka的bin目录,windows下双击kafka-server-start.bat启动,Linux下使用sh来启动服务

        .\bin\windows\kafka-server-start.bat .\config\server.properties   

5.结束

         Apache kafka的安装和配置到此就结束了,接下来就是使用程序编写生产者和消费者去使用kafka服务,实例代码在码云:http://git.oschina.net/MaxBill/stream

© 著作权归作者所有

共有 人打赏支持
MaxBill
粉丝 28
博文 60
码字总数 46771
作品 0
宝山
后端工程师
架构设计:系统间通信(28)——Kafka及场景应用(中1)

(接上文《架构设计:系统间通信(27)——其他消息中间件及场景应用(上)》) 在本月初的写作计划中,我本来只打算粗略介绍一下Kafka(同样是因为进度原因)。但是,最近有很多朋友要求我详...

yinwenjie ⋅ 2016/05/02 ⋅ 0

142.5. Apache Kafka is a distributed publish-subscribe messaging system

如果你是开发或测试环境使用,可以使用内置 zookeeper cd /usr/local/srcwget http://apache.communilink.net/kafka/0.10.2.0/kafka_2.12-0.10.2.0.tgztar zxvf kafka_2.12-0.10.2.0.tgzmv k......

玄学酱 ⋅ 2017/12/14 ⋅ 0

Windows 安装运行 Apache Kafka 教程

下面是分步指南,教你如何在Windows OS上安装运行Apache Zookeeper和Apache Kafka。 简介 本文讲述了如何在Windows OS上配置并启动Apache Kafka,这篇指南将会指导你安装Java和Apache Zookee...

xrzs ⋅ 2012/08/26 ⋅ 0

[喵咪KafKa(2)]单机模式运行KafKa

在上节我们介绍完KafKa之后,今天我们来搭建KafKa三种模式(单机模式,伪集群,集群)中的一种单机模式的搭建,在正常的使用中我们一般吧单机模式作为开发环境的标配,今天就来和喵咪一同搭建一个K...

喵了_个咪 ⋅ 2016/09/12 ⋅ 0

apache kafka技术分享系列(目录索引)

目录索引: Kafka使用场景 1.为何使用消息系统 2.我们为何需要搭建ApacheKafka分布式系统 3.消息队列中点对点与发布订阅区别 kafka开发与管理: 1)apachekafka消息服务 2)kafak安装与使用 ...

dannyhe ⋅ 2015/09/06 ⋅ 1

Kafka文章索引(入门)

目录索引: 1)apache kafka消息服务 2)kafka在zookeeper中存储结构 3)kafka log4j配置 4)kafka replication设计机制 5)apache kafka监控系列-监控指标 6)kafka.common.ConsumerRebala...

阿莱倪士 ⋅ 2014/11/27 ⋅ 0

Kafka集群及监控安装指南

kafka官网:http://kafka.apache.org/ 官方文档:http://kafka.apache.org/documentation.html#quickstart kafka集群安装 下载: kafka2.10-0.8.2.0.tar.gz 解压: tar -zxvf kafka2.10-0.8.......

zyqJustin ⋅ 2016/04/16 ⋅ 0

Windows OS上安装运行Apache Kafka教程

下面是分步指南,教你如何在Windows OS上安装运行Apache Zookeeper和Apache Kafka。 简介 本文讲述了如何在Windows OS上配置并启动Apache Kafka,这篇指南将会指导你安装Java和Apache Zookee...

yuanzhitang ⋅ 2017/06/13 ⋅ 0

33.5. Apache Kafka is a distributed publish-subscribe messaging system

如果你是开发或测试环境使用,可以使用内置 zookeeper cd /usr/local/srcwget http://apache.communilink.net/kafka/0.10.2.0/kafka_2.12-0.10.2.0.tgztar zxvf kafka_2.12-0.10.2.0.tgzmv k......

玄学酱 ⋅ 2017/12/27 ⋅ 0

kafka集群搭建

版本和集群环境 kafka版本:2.11 集群环境:两台虚拟机(我这里是一台当producer,一台当consumer) 官网:http://kafka.apache.org/ 官方文档:http://kafka.apache.org/documentation.htm...

张欢19933 ⋅ 2016/01/22 ⋅ 5

没有更多内容

加载失败,请刷新页面

加载更多

下一页

RabbitMQ学习以及与Spring的集成(三)

本文介绍RabbitMQ与Spring的简单集成以及消息的发送和接收。 在RabbitMQ的Spring配置文件中,首先需要增加命名空间。 xmlns:rabbit="http://www.springframework.org/schema/rabbit" 其次是模...

onedotdot ⋅ 16分钟前 ⋅ 0

JAVA实现仿微信红包分配规则

最近过年发红包拜年成为一种新的潮流,作为程序猿对算法的好奇远远要大于对红包的好奇,这里介绍一种自己想到的一种随机红包分配策略,还请大家多多指教。 算法介绍 一、红包金额限制 对于微...

楠木楠 ⋅ 28分钟前 ⋅ 0

Python 数电表格格式化 xlutils xlwt xlrd的使用

需要安装 xlutils xlwt xlrd 格式化前 格式化后 代码 先copy读取的表格,然后按照一定的规则修改,将昵称中的学号提取出来替换昵称即可 from xlrd import open_workbookfrom xlutils.copy ...

阿豪boy ⋅ 57分钟前 ⋅ 0

面试题:使用rand5()生成rand7()

前言 读研究生这3 年,思维与本科相比变化挺大的,这几年除了看论文、设计方案,更重要的是学会注重先思考、再实现,感觉更加成熟吧,不再像个小P孩,人年轻时总会心高气傲。有1 道面试题:给...

初雪之音 ⋅ 57分钟前 ⋅ 0

Docker Toolbox Looks like something went wrong

Docker Toolbox 重新安装后提示错误:Looks like something went wrong in step ´Checking if machine default exists´ 控制面板-->程序与应用-->启用或关闭windows功能:找到Hyper-V,如果处......

随你疯 ⋅ 今天 ⋅ 0

Guacamole 远程桌面

本文将Apache的guacamole服务的部署和应用,http://guacamole.apache.org/doc/gug/ 该链接下有全部相关知识的英文文档,如果水平ok,可以去这里仔细查看。 一、简介 Apache Guacamole 是无客...

千里明月 ⋅ 今天 ⋅ 0

nagios 安装

Nagios简介:监控网络并排除网络故障的工具:nagios,Ntop,OpenVAS,OCS,OSSIM等开源监控工具。 可以实现对网络上的服务器进行全面的监控,包括服务(apache、mysql、ntp、ftp、disk、qmail和h...

寰宇01 ⋅ 今天 ⋅ 0

AngularDart注意事项

默认情况下创建Dart项目应出现以下列表: 有时会因为不知明的原因导致列表项缺失: 此时可以通过以下步骤解决: 1.创建项目涉及到的包:stagehand 2.执行pub global activate stagehand或pub...

scooplol ⋅ 今天 ⋅ 0

Java Web如何操作Cookie的添加修改和删除

创建Cookie对象 Cookie cookie = new Cookie("id", "1"); 修改Cookie值 cookie.setValue("2"); 设置Cookie有效期和删除Cookie cookie.setMaxAge(24*60*60); // Cookie有效时间 co......

二营长意大利炮 ⋅ 今天 ⋅ 0

【每天一个JQuery特效】淡入淡出显示或隐藏窗口

我是JQuery新手爱好者,有时间就练练代码,防止手生,争取每天一个JQuery练习,在这个博客记录下学习的笔记。 本特效主要采用fadeIn()和fadeOut()方法显示淡入淡出的显示效果显示或隐藏元...

Rhymo-Wu ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部