文档章节

基于spark之上的即席分析-日志分析场景

CodingCao
 CodingCao
发布于 2017/03/06 16:51
字数 681
阅读 85
收藏 0

YDB 场景精选之运维日志、 业务日志、 交易流水日志的搜索与分析

通过方便灵活的日志搜索分析,帮助用户及时发现问题

统一日志查询平台,程序故障定位平台

开发与运维人员经常需要登录线上生产系统, 通过 grep、 tail、 more、 cat 等命令去生产系统里查找故障原因, 排查效率很慢。 且在生产系统运维人员因错误的使用调试命令导致生产系统宕机的情况路见不鲜。

组建一个统一的日志查询管理平台非常重要, 开发人员可以像使用百度那样在日志平台里快速的检索与分析日志,快速定位问题。 日志分析与生产系统分离,即保障了生产系统的安全, 也省去了登录服务器的操作, 提高了运维的效率与质量。

一个大型的系统, 会有多种不同的业务子系统,这些系统的日志散落在不同的机器的每个角落。在统一日志查询平台可以跨越多个业务子系统进行日志的关联分析, 对业务整体进行全局分析。

交易流水搜索

物流系统,网站,运营商,证券交易所,零售商每天有大量的销售,访问日志。 会有客户投诉扣费不准确,或者账户资金丢失的问题,需要客服人员对这些日志进行分析、过滤、筛选 从而追踪真实的扣费细节,在那个环境支付出现了异常,如果账户被盗,资金最终流向了哪里,尽量减少用户的损失。

核心功能根据关键词, ID、时间等快速定位日志

1. 系统问题定位 排查系统故障

2. 根据日志分析,系统性能与网络瓶颈

3. 如果用户投诉可以通过交易号定位用户交易日志,定位哪个环节的支付出现异常

数据量太大,检索成难题

现如日志分析已经不是什么新鲜事,但是数据量特别庞大,普通的传统数据库已经承受不了这么大规模的日志存储,就更别提日志分析了。以笔者成有幸在在腾讯工作期间,研发并设计了腾讯的Hermes 系统, Hermes 当时每天存储的日增量为每天 3600 多亿(截止去年 16 年 10 月,为每天 7000亿),总的数据存储量在万亿规模。

© 著作权归作者所有

CodingCao
粉丝 0
博文 8
码字总数 10130
作品 0
绥化
私信 提问
Intel 开源 BigDL,基于 Spark 的深度学习库

近日,Intel 开源了 BigDL,这是一个基于 Apache Spark 的分布式深度学习库。使用 BigDL ,用户可以将他们的深度学习应用程序作为标准的 Spark 程序,它可以直接运行在现有的 Spark 或 Hado...

王练
2017/01/07
3.4K
2
从Hadoop到Spark的架构实践

当下,Spark已经在国内得到了广泛的认可和支持:2014年,Spark Summit China在北京召开,场面火爆;同年,Spark Meetup在北京、上海、深圳和杭州四个城市举办,其中仅北京就成功举办了5次,内...

Emilypz
2015/10/10
1K
0
基于阿里云HBase产品的游戏大数据实践

大数据架构 我们团队大数据方案主要参考阿里巴巴大数据方案并结合自身特点量身定做,像阿里巴巴大数据体系架构一样也分四层,只是内容有所简化和差异。其实多数大数据架构方案都略同,只是在...

黑云长剑
05/14
0
0
[Kafka与Spark集成系列一] Spark入门

版权声明:本文为博主原创文章,未经博主朱小厮允许不得转载。 https://blog.csdn.net/u013256816/article/details/82081946 Spark是一个用来是实现快速而通用的集群计算的平台。Spark是UC ...

朱小厮
2018/08/26
0
0
Spark成为大数据高手进阶步骤

什么是Spark Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapRedu...

MoksMo
2015/11/05
2.1K
1

没有更多内容

加载失败,请刷新页面

加载更多

Spring Cloud 笔记之Spring cloud config client

观察者模式它的数据的变化是被动的。 观察者模式在java中的实现: package com.hxq.springcloud.springcloudconfigclient;import org.springframework.context.ApplicationListener;i...

xiaoxiao_go
今天
4
0
CentOS7.6中安装使用fcitx框架

内容目录 一、为什么要使用fcitx?二、安装fcitx框架三、安装搜狗输入法 一、为什么要使用fcitx? Gnome3桌面自带的输入法框架为ibus,而在使用ibus时会时不时出现卡顿无法输入的现象。 搜狗和...

技术训练营
今天
4
0
《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
今天
7
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
今天
7
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部