文档章节

Apache kafka的安装和配置

MaxBill
 MaxBill
发布于 2017/06/01 09:50
字数 594
阅读 35
收藏 0

1.Apache kafka简介

       Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消费。(摘自百度)

2.Apache kafka下载

Kafka官方网地址:http://kafka.apache.org/

最新版本:0.10.2.1

最新版下载地址:http://mirrors.hust.edu.cn/apache/kafka/0.10.2.1/kafka_2.12-0.10.2.1.tgz

3.Apache kafka安装

tips:基于jdk的,大家操作前自行安装jdk

tips:kafka是以来于zookeeper服务的,请在之前安装zookeepoer(见我的博客:zookeeper的安装配置教程)

<1>解压下载的kafka_2.12-0.10.2.1.tgz二进制包,如下图:

<2>进入config文件夹编辑server.properties

找到并编辑log.dirs=自己的日志路径,这里的目录自己修改成自己喜欢的,找到并编辑zookeeper.connect=localhost:2181。表示连接本地运行的zookeeper,Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181

4.Apache kafka启动

重要:请确保在启动Kafka服务器前,JDK已经正确安装,Zookeeper实例已经开始运行

进入kafka的bin目录,windows下双击kafka-server-start.bat启动,Linux下使用sh来启动服务.\bin\windows\kafka-server-start.bat .\config\server.properties   

5.结束

         Apache kafka的安装和配置到此就结束了,接下来就是使用程序编写生产者和消费者去使用kafka服务,实例代码在码云:http://git.oschina.net/MaxBill/stream

© 著作权归作者所有

共有 人打赏支持
MaxBill

MaxBill

粉丝 44
博文 76
码字总数 58988
作品 1
宝山
后端工程师
私信 提问
架构设计:系统间通信(28)——Kafka及场景应用(中1)

(接上文《架构设计:系统间通信(27)——其他消息中间件及场景应用(上)》) 在本月初的写作计划中,我本来只打算粗略介绍一下Kafka(同样是因为进度原因)。但是,最近有很多朋友要求我详...

yinwenjie
2016/05/02
0
0
[喵咪KafKa(2)]单机模式运行KafKa

在上节我们介绍完KafKa之后,今天我们来搭建KafKa三种模式(单机模式,伪集群,集群)中的一种单机模式的搭建,在正常的使用中我们一般吧单机模式作为开发环境的标配,今天就来和喵咪一同搭建一个K...

喵了_个咪
2016/09/12
190
0
apache kafka技术分享系列(目录索引)

目录索引: Kafka使用场景 1.为何使用消息系统 2.我们为何需要搭建ApacheKafka分布式系统 3.消息队列中点对点与发布订阅区别 kafka开发与管理: 1)apachekafka消息服务 2)kafak安装与使用 ...

dannyhe
2015/09/06
453
1
Windows 安装运行 Apache Kafka 教程

下面是分步指南,教你如何在Windows OS上安装运行Apache Zookeeper和Apache Kafka。 简介 本文讲述了如何在Windows OS上配置并启动Apache Kafka,这篇指南将会指导你安装Java和Apache Zookee...

大数据之路
2012/08/26
0
0
Kafka集群及监控安装指南

kafka官网:http://kafka.apache.org/ 官方文档:http://kafka.apache.org/documentation.html#quickstart kafka集群安装 下载: kafka2.10-0.8.2.0.tar.gz 解压: tar -zxvf kafka2.10-0.8.......

zyqJustin
2016/04/16
409
0

没有更多内容

加载失败,请刷新页面

加载更多

mybatis学习(1)

JDBC连接方式: 1.底层没有使用连接池,操作数据库需要频繁的创建和关闭连接,消耗资源。 2.写原生的JDBC代码在JAVA中,一旦需要修改SQL的话(比如表增加字段),JAVA需要整体重新编译,不利...

杨健-YJ
21分钟前
1
0
怎么组织文档

可以从以下几个方面考虑组织文档: ☐ 各种分支的界面截图和对应的类及文件 ☐ 框架或类图 ☐ 流程图 ☐ 时序图 ☐ 注意事项

-___-
32分钟前
1
0
分布式之数据库和缓存双写一致性方案解析

引言 为什么写这篇文章? 首先,缓存由于其高并发和高性能的特性,已经在项目中被广泛使用。在读取缓存方面,大家没啥疑问,都是按照下图的流程来进行业务操作。 但是在更新缓存方面,对于更...

别打我会飞
34分钟前
6
0
我的oracle11G,12c OCM之路

ocm认证感悟 ---------------------- 距离拿到ocm证书已经过了1年的时间,当初拿到证书的心情到现在还记得。其实在每个DBA心里都有一个成为强者的梦想,需要被认可,我也一样。我干过开发,做...

hnairdb
35分钟前
2
1
手动部署kubernetes集群(1.13.1最新版)

一、机器规划 使用五台机子部署k8s集群,规划如下: master节点3台(同时也是etcd节点) node节点2台 ip分配如下: ip:192.168.10.101,主机名:k8s-etcd01 ip:192.168.10.102,主机名:k8s...

人在艹木中
40分钟前
29
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部