1
2
3
4
5
6
7
连击 天
fork: star:
加载中
原
spark streaming和kafka整合，保证数据exactly-once有且只被处理一次
对于流式计算系统，我们都预期能够完全正确的处理每一条数据，即所有的数据不多也不少的处理每一条数据，为了达到这样的功能，我们还有很多额外的工作需要处理。 1.首先了解spark+kafka解决这...
原
storm 一直报错：Got fetch request with offset out of range
jstorm一直刷如下错误消息： 15:43:07.952 [kafka:5-SingleThreadSpoutExecutors] WARN storm.kafka.KafkaUtils - Got fetch request with offset out of range: [22]; retrying with defaul...
原
cloudera：修改各组件的用户为统一的用户
使用cloudera manager安装的组件，每一个组件都有一个用户，这样的处理方案确实更安全，如果不是有绕不过去的坎，不推荐改成统一的一个用户，因为这样改了用户除了不安全，还可能导致集群出现...
原
flume source channel sink
flume的source channel sink官网文档很丰富，有什么配置项不清晰直接参考官网文档。文档里面的粗体项是指必须配置的项。参考：Flume Sources source 1.Spooling Directory Source.监控某个目...
原
spark checkpoint用法
checkpoint注意点： 1.当某一窗口被打断之后，重新从checkpoint恢复时，不会继续执行这一窗口未执行完的代码，仅仅是恢复spark streaming的配置和代码，进行下一批次的执行。 2.看到某些文章...
没有更多内容
加载失败，请刷新页面
没有更多内容
删除文章
文章删除后无法恢复，确定删除此文章吗？
删除动弹
动弹删除后，数据将无法恢复
评论删除后，数据将无法恢复