点击流日志分析架构

原创
2017/02/06 15:30
阅读数 234

整体流程设计

1、通过日志收集系统将数据获取并存放到某个存储介质中,本例可以使用kafka

2、Storm程序从kafka中消费数据数据,逐条消费的日志

3、Storm程序从数据库中加载产品人员配置的任务信息

4、Storm程序计算每个任务的各项指标,各项指标的中间结果存放在Redis中

5、同步程序,按照一定的时间周期从Redis中计算每个任务的增量数据,并将增量数据存放在mysql数据库中

6、同步程序,按照每个指标的增量数据计算不同维度的基础数据

7、报表系统从Mysql数据库获取每个每个指标的基础数据进行展示

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部