文档章节

flume1.6.0 和kafka整合(kafkasink只有在1.6.0以上的flume版本才有)

ivan-Zhao
 ivan-Zhao
发布于 2016/01/17 11:38
字数 226
阅读 871
收藏 8

一、启动kafka,使用默认配置

    ①启动zookeeper,bin/-server-start.sh -daemon config/server.properties 

    ②启动kafka:bin/kafka-server-start.sh -daemon config/server.properties 

     ③创建主题:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic spider

     ④启动消费者:bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic spider --from-beginning

二、配置flume并启动

    flume的详细配置可以看我前面的关于flume的详细配置

    将flume(1.6.0,自定义sink会在后面博客补充)的sink改为:

    agent1.sinks.log-sink1.channel = ch1
    agent1.sinks.log-sink1.type = org.apache.flume.sink.kafka.KafkaSink
    agent1.sinks.log-sink1.topic = spider
    agent1.sinks.log-sink1.brokerList = 192.168.57.133:9092
    agent1.sinks.log-sink1.requiredAcks = 1
    agent1.sinks.log-sink1.batchSize = 1
    启动flume

三、测试

    这里的测试类还是使用上一次log4j整合flume的例子,运行测试类,如果看到下面输出,则表示整合成功

    



© 著作权归作者所有

ivan-Zhao
粉丝 10
博文 33
码字总数 29110
作品 0
深圳
程序员
私信 提问
解决 flume KafkaSink 启动后cpu占用100%的问题

解决 flume KafkaSink 启动后cpu占用100%的问题 Flume 版本 :1.6.0-cdh5.5.0 问题描述: 配置kafkasink,将实时数据发送到kafka。 Flume启动完成后,没有日志处理时,cpu使用率飙升到100% ...

hamlin
2016/06/21
0
0
flume源码编译/拦截器分析(一)

flume介绍 ---由于是第一次进行源码编译与开发,步骤有点复杂,后续再进行简化 Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定...

-九天-
2018/01/11
341
0
Flume - Kafka日志平台整合

1. Flume介绍 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行...

mantoudev
2018/03/21
0
0
flume安装及配置介绍(转载)

Flume的下载方式: wget http://www.apache.org/dyn/closer.lua/flume/1.6.0/apache-flume-1.6.0-bin.tar. 下载完成之后,使用tar进行解压 tar -zvxf apache-flume-1.6..0-bin.tar. 进入flu......

晴天哥
2017/08/30
0
0
【Kafka】Kafka的代码实现及与Flume的集成

版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/gongxifacai_believe/article/details/86547209 1、Kafka API Kafka分别提供了基于Java和Scala的API,由于Kafka不仅...

魏晓蕾
01/19
0
0

没有更多内容

加载失败,请刷新页面

加载更多

75、GridFS

GridFS是MongoDB提供的用于持久化存储文件的模块,CMS使用Mongo DB存储数据,使用FGridFS可以快速集成开发。 工作原理: 在GridFS存储文件是将文件分块存储,文件会按照256KB的大小分割成多个...

lianbang_W
37分钟前
4
0
js bind 绑定this指向

本文转载于:专业的前端网站➱js bind 绑定this指向 1、示例代码 <!DOCTYPE html><html lang="zh"> <head> <meta charset="UTF-8" /> <title>bind函数绑定this指向......

前端老手
40分钟前
4
0
CentOS Linux 7上将ISO映像文件写成可启动U盘

如今,电脑基本上都支持U盘启动,所以,可以将ISO文件写到U盘上,用来启动并安装操作系统。 我想将一个CentOS Linux 7的ISO映像文件写到U盘上,在CentOS Linux 7操作系统上,执行如下命令: ...

大别阿郎
47分钟前
4
0
深入vue-公司分享ppt

组件注册 全局注册 注册组件,传入一个扩展过的构造器 Vue.component('my-component', Vue.extend({/*...*/})) 注册组件,传入一个选项对象(自动调用Vue.extend) Vue.component('my-comp...

莫西摩西
48分钟前
4
0
gitlab重置管理员密码

登录gitlab服务器 [root@localhost bin]# sudo gitlab-rails console productionLoading production environment (Rails 5.2.3)irb(main):001:0> u = User.where(email: 'admin@example.co......

King华仔o0
58分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部