加载中
kafka的有序性

kafka只能保证Partition内部的有序, 不能保证全局的有序性。 严格的全局有序 将Partition数设为1, 所有数据写到同一个Partition中, 保证了有序性, 但是牺牲了kafka的性能。 业务的局部有...

09/22 19:48
8
kafka + spark streaming 确保不丢失不重复消费的offset管理方法

在使用Spark Streaming消费kafka中的数据时, 官方推荐将offset信息存储在kafka中 stream.foreachRDD { rdd => val offsetRanges = rdd.asInstanceOf[HasOffsetRanges].offsetRanges // some...

07/04 10:29
43
Spark Streaming与kafka对接

使用KafkaUtil来实现SparkStreaming的对接。 KafkaUtil共有两个版本: spark-streaming-kafka-0-8 spark-streaming-kafka-0-10 kafka version 0.8.2.1 or higher 0.10.0 or higher Offset C...

08/15 21:09
4
Spark Streaming调优 kafka

当使用Spark Streaming的Direct方式接受Kafka数据时, 如果kafka中的数据过多, 会导致spark数据积压, 无法准时完成作业, 甚至OOM。 Spark的运行指标及调优的目标 共两个运行指标:调度延迟...

07/11 14:57
26
flume kafka sink 抛出异常 Bootstrap Servers must be specified

使用flume kafka sink时, 启动flume抛出异常 Sink kafkasink has been removed due to an error during configuration org.apache.flume.conf.ConfigurationException: Bootstrap Servers m...

kafka报错 WARN Session 0x0 for server null, unexpected error, closing socket connection

kafka报错: WARN Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn) java.net.ConnectException: ...

05/16 12:47
69
kafka文件存储与定位数据的原理

kafka的相对offset 每个分区的文件存储在各自分区的目录中。 每个分区的offset都从1开始。 每个分区将数据切分成多个segment(段), 每个段对应了两个文件:log和index 第一组命名为:00000...

09/22 19:06
3
kafka优化建议

Producer acks 建议设置为all, 确认所有副本保存完毕后进行下一个批次。默认值为1, 等到leader副本保存完毕后就开始下一个批次, 若期间leader所在节点出错, 会导致数据丢失。 buffer.memor...

07/24 15:28
11

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部