storm 一直报错:Got fetch request with offset out of range

原创
2019/07/06 16:03
阅读数 1.7K
  1. jstorm一直刷如下错误消息:
    15:43:07.952 [kafka:5-SingleThreadSpoutExecutors] WARN  storm.kafka.KafkaUtils - Got fetch request with offset out of range: [22]; retrying with default start offset time from configuration. configured start offset time: [-2]
    15:43:07.955 [kafka:5-SingleThreadSpoutExecutors] WARN  storm.kafka.PartitionManager - Using new offset: 23
    
  2. 原因如下:
    1. kafka有定时清空数据,或者消息丢失。
    2. jstorm的代码里面有fail的逻辑,消息正好failed。
    3. faild的消息正好被kafka清空或者丢失了。
      如果上面条件都满足,则会一直循环包如上的错误消息。
  3. storm-kakfa对应代码如下:
    // Are there failed tuples? If so, fetch those first.
    if (had_failed) {
        offset = failed.first();
    } else {
        offset = _emittedToOffset;
    }
    ByteBufferMessageSet msgs = null;
    try {
        msgs = KafkaUtils.fetchMessages(_spoutConfig, _consumer, _partition, offset);
    } catch (UpdateOffsetException e) {
        _emittedToOffset = KafkaUtils.getOffset(_consumer, _spoutConfig.topic, _partition.partition, _spoutConfig);
        LOG.warn("Using new offset: {}", _emittedToOffset);
        // fetch failed, so don't update the metrics
        return;
    }
    

因为在jstorm bolt中有失败的消息,所以had_failed=true,所以一直从failed列表里消费第一条数据,而failed列表里的第一条数据又被kafka清空了,导致一直抛出UpdateOffsetException,然后返回又重新循环一遍,所以就会一直出现一开始的错误。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部