flume1.6.0 和kafka整合(kafkasink只有在1.6.0以上的flume版本才有)

原创
2016/01/17 11:38
阅读数 1K

一、启动kafka,使用默认配置

    ①启动zookeeper,bin/-server-start.sh -daemon config/server.properties 

    ②启动kafka:bin/kafka-server-start.sh -daemon config/server.properties 

     ③创建主题:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic spider

     ④启动消费者:bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic spider --from-beginning

二、配置flume并启动

    flume的详细配置可以看我前面的关于flume的详细配置

    将flume(1.6.0,自定义sink会在后面博客补充)的sink改为:

    agent1.sinks.log-sink1.channel = ch1
    agent1.sinks.log-sink1.type = org.apache.flume.sink.kafka.KafkaSink
    agent1.sinks.log-sink1.topic = spider
    agent1.sinks.log-sink1.brokerList = 192.168.57.133:9092
    agent1.sinks.log-sink1.requiredAcks = 1
    agent1.sinks.log-sink1.batchSize = 1
    启动flume

三、测试

    这里的测试类还是使用上一次log4j整合flume的例子,运行测试类,如果看到下面输出,则表示整合成功

    



展开阅读全文
打赏
1
8 收藏
分享
加载中
更多评论
打赏
0 评论
8 收藏
1
分享
返回顶部
顶部