文档章节

kafka+log4j配置

杰仪
 杰仪
发布于 2017/03/08 15:23
字数 217
阅读 35
收藏 1

前言。好多网上的整合都不能使用了。现更新最新的。

一、安装和配置kafka.参考http://kafka.apache.org/quickstart 

tar -xzf kafka_2.11-0.10.2.0.tgz
cd kafka_2.11-0.10.2.0

修改config/server.properties. 打开listeners. 根据实际情况修改zookeeper.connect

listeners=PLAINTEXT://192.168.1.9:9092
zookeeper.connect=ser9:2181,ser40:2181

如果增加为集群模式:broker.id为集群中不同的编号,要唯一。参考http://kafka.apache.org/documentation/#prodconfig

broker.id=1
listeners=PLAINTEXT://192.168.1.40:9092
log.dirs=/var/log/kafka-logs
num.partitions=8
default.replication.factor=3
min.insync.replicas=2
auto.create.topics.enable=true

开启服务

bin/kafka-server-start.sh config/server.properties &

创建主题

bin/kafka-topics.sh --create --zookeeper ser9:2181 --replication-factor 1 --partitions 1 --topic test

二、修改pom.xml

        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>0.10.2.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-log4j-appender</artifactId>
            <version>0.10.2.0</version>
        </dependency>

log4j.properties

log4j.logger.org.apache = DEBUG,kafka

# appender kafka
log4j.appender.kafka=org.apache.kafka.log4jappender.KafkaLog4jAppender
log4j.appender.kafka.topic=test
# multiple brokers are separated by comma ",".
log4j.appender.kafka.brokerList=192.168.1.9:9092
log4j.appender.kafka.compressionType=none
log4j.appender.kafka.syncSend=true
log4j.appender.kafka.layout=org.apache.log4j.PatternLayout
log4j.appender.kafka.layout.ConversionPattern=%-d{yyyy-MM-dd HH\:mm\:ss,SSS} [%5p] (%F\:%L) - %m%n

三、打开consumer

bin/kafka-console-consumer.sh --bootstrap-server ser9:9092 --topic test --from-beginning

 

© 著作权归作者所有

杰仪
粉丝 1
博文 52
码字总数 10231
作品 0
成都
私信 提问
Kafka+Log4j实现日志集中管理

引言 前段时间写的《Spring+Log4j+ActiveMQ实现远程记录日志——实战+分析》得到了许多同学的认可,在认可的同时,也有同学提出可以使用Kafka来集中管理日志,于是今天就来学习一下。 特别说...

摆渡者
2015/12/08
16.3K
25

没有更多内容

加载失败,请刷新页面

加载更多

没有更多内容

CentOS7.6中安装使用fcitx框架

内容目录 一、为什么要使用fcitx?二、安装fcitx框架三、安装搜狗输入法 一、为什么要使用fcitx? Gnome3桌面自带的输入法框架为ibus,而在使用ibus时会时不时出现卡顿无法输入的现象。 搜狗和...

技术训练营
昨天
5
0
《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
昨天
8
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
昨天
10
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
昨天
6
0
PHP+Ajax微信手机端九宫格抽奖实例

PHP+Ajax结合lottery.js制作的一款微信手机端九宫格抽奖实例,抽奖完成后有收货地址添加表单出现。支持可以设置中奖概率等。 奖品列表 <div class="lottery_list clearfix" id="lottery"> ......

ymkjs1990
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部