Apache kafka的安装和配置

原创
2017/06/01 09:50
阅读数 93

1.Apache kafka简介

       Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消费。(摘自百度)

2.Apache kafka下载

Kafka官方网地址:http://kafka.apache.org/

最新版本:0.10.2.1

最新版下载地址:http://mirrors.hust.edu.cn/apache/kafka/0.10.2.1/kafka_2.12-0.10.2.1.tgz

3.Apache kafka安装

tips:基于jdk的,大家操作前自行安装jdk

tips:kafka是以来于zookeeper服务的,请在之前安装zookeepoer(见我的博客:zookeeper的安装配置教程)

<1>解压下载的kafka_2.12-0.10.2.1.tgz二进制包,如下图:

<2>进入config文件夹编辑server.properties

找到并编辑log.dirs=自己的日志路径,这里的目录自己修改成自己喜欢的,找到并编辑zookeeper.connect=localhost:2181。表示连接本地运行的zookeeper,Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181

4.Apache kafka启动

重要:请确保在启动Kafka服务器前,JDK已经正确安装,Zookeeper实例已经开始运行

进入kafka的bin目录,windows下双击kafka-server-start.bat启动,Linux下使用sh来启动服务.\bin\windows\kafka-server-start.bat .\config\server.properties   

5.结束

         Apache kafka的安装和配置到此就结束了,接下来就是使用程序编写生产者和消费者去使用kafka服务,实例代码在码云:http://git.oschina.net/MaxBill/stream

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部