文档章节

重构数据处理架构 大数据平台让视频更智能

灵玖lingjoin
 灵玖lingjoin
发布于 2015/02/05 16:42
字数 2333
阅读 25
收藏 0

码上生花,ECharts 作品展示赛正式启动!>>>

智慧城市的管理中,视频监控发挥着越来越重要的作用。随着视频监控数据量的飞速增长,工作人员在用传统方式对视频进行分析和检索的时候遇到了很大的挑战。而大数据技术可以重构传统视频数据处理的架构,让人们可以更快速、更智能地分析和应用视频监控的大数据。


    我国智慧城市战略已经实施了多年,全面提升了城市的管理和服务能力。而从数据上来看,市民感受城市最直接的变化就是摄像头密集度越来越高。而且,很多城市都已经开始实施“天眼工程”,为的就是实现对城市全方位无死角的监控。密集分布的摄像头网络组成了城市的公共安全视频监控系统,也提升了一个城市治安、交通、消防、市政、城管等各部门的整体管理和服务水平。


    海量视频数据带来的挑战

    随着视频监控数据量的快速增长,以及摄像头高清化、超高清化的趋势加强,视频监控数据规模将以更快的指数级别增长。以一个部署了1万个摄像头的中等城市为例,假定每个摄像头每秒压缩视频数据量为1Mb(比特),则一天共产生108TB的视频录像,一个月共产生约3PB的视频录像。


    现在,新的问题出来了,摄像头7×24小时地录制视频,让每个城市都产生了大量的视频监控文件。但是,当公安部门或交通部门希望快速搜索某时间或某些特征的视频段时,这个看似简单的想法,操作起来却犹如大海捞针。


    与通常的结构化数据不同,视频监控业务产生的数据绝大多数以非结构化的数据为主,必须经过复杂繁重的分析处理才能提取出文本结构化的数据进行下一步处理。这些都给传统视频监控体系架构、数据的管理方式、数据分析,以及视频监控数据的传输、存储和计算带宽等带来了极大的挑战。


    挑战一:数据量的急剧扩大和IT投资之间的矛盾。按照IT产业的法则:在满足客户需求的前提之下,往往技术成本越低,其生命力越强。由于数据量的急速扩大,以及随之而来的大规模计算的需求越来越多,一味采用高配硬件,使得硬件投资成为客户不可承受之重,客户越来越希望在满足需求的前提下,用中低端的硬件来替换高配硬件。


    挑战二:海量数据和有效数据之间的矛盾。摄像头7×24小时地工作如实记录镜头覆盖范围内所发生的一切。但是,大部分视频监控信息是无效的,有效信息可能只分布在一个较短的时间段内,按照数学统计的说法,信息是呈现幂律分布的,也称之为信息的密度,往往越高密度的信息对客户价值越大。


    挑战三:资源利用和效率之间的矛盾。随着视频监控数据量的增加,哪怕对TB级别的数据进行视频内容的数据分析和检索,采用传统方式都可能需要花费数小时的计算,这远远不能胜任时效性的需求。视频的分析和检索,不能依赖于传统的手段,视频智能分析必须寻找新的突破。


    因此,想要从如此海量的视频监控文件检索到所需的视频信息,必须借助特殊的技术帮忙。


    改造传统数据处理架构

    大数据理念和开源生态系统Hadoop的诞生,激活了各行业的思路。IT领域开始采用基于Hadoop的大数据技术框架对视频文件进行存储和计算,使得城市各部门的工作人员可以实现对视频的快速检索和智能分析。


    视频监控的大数据平台一般以分布式集群的方式进行建设。分布式集群能够对数据处理进行负载均衡,同时,也便于未来一段时间进行扩展。而扩展的过程也无需重新部署系统,只需增加集群节点即可提升大数据平台的整体性能。


    视频监控的大数据平台采用分布式计算,同时结合内存加速、负载均衡、本地处理,以提供高效的数据分析和挖掘能力。视频监控大数据处理过程中的存储则采用了分布式存储方式,以提高读写速度和扩大存储容量。在数据存储方面,大数据平台需要考虑以下3个方面:一是哪些数据需要保存到大数据平台上;二是如何对原有系统进行改造,原有系统中已存在的数据该如何处理;三是如何保证数据的可靠性。


    实践证明,基于大数据框架改造的传统视频处理系统架构能焕发出新的活力。首先,架构更加灵活,伸缩弹性更大。一些城市的中大型项目,由于起点的差异,缺乏视频监控架构的顶层设计,为后期的扩容升级增大了难度。在建设初期,IT规划者如果能引入基于大数据的架构,就会为未来的扩张打开通路。


    其次,可以以廉价通用的硬件产品应对视频监控数据的爆发性增长。在面向大数据的架构中,IT规划者后期可以根据视频监控业务的部署需要,设立多个HDFS(Hadoop分布式文件系统)集群,采集的流数据会被划分成段,并分布于各个数据节点上。更为重要的是,这些数据节点可以采用廉价通用型的硬件,由软件技术保证其高可靠性。这种方式避免采用传统高端硬件模式,大大降低了大数据平台的后续运维成本。


    最后,可以通过高速并行计算实现智能分析和数据挖掘。对于城市管理者来说,面对海量的视频监控数据,传统人工和串行的数据筛选方式已不能满足搜索和分析要求。基于大数据的架构就是将海量数据分解为较小的更易访问的批量数据,在多台服务器上并行分析处理,从而大大加快视频数据的处理进程。


    视频大数据的智能应用

    以2012年在南京发生的“1·6”抢劫案为例,在案件侦破过程中,南京警方从全市1万多个摄像头共提取了近2000TB的视频数据,为了处理这些视频,调动1500多名公安干警查阅搜索视频线索,共耗时一个多月的时间。很显然,通过人工查看模式,一段视频往往需要数倍于视频时间才能审看完,因此需要大量工作人员连续加班进行视频的审查,就不足为奇。


    即便如此,人海战术仍然会影响公安部门破案的进度和效率,而且也使得工作人员把过多的精力耗费在查找视频线索上来。如果这时候,有一个视频监控的大数据平台就可以在短时间内对视频中运动的物体进行检索和排除,从而大大提高公安部门的办案效率。


    时至今日,视频监控的大数据平台已经被成熟地应用于智能交通,可以轻松监控摄像覆盖范围内的所有车辆的行驶状态、运行轨迹,快速分析出其是否违章。2015年1月8日上午,在宁连高速上,一辆白色轿车飞速行驶,车内仪表盘上的时速指针已接近200公里/小时。


    与此同时,南京市高速七大队指挥室内,执勤的交警正在通过大屏幕监控着过往的车辆。当这辆白色轿车飞驰而过时,路边的测速设备捕捉到这辆车的时速已达到180公里/小时。交警利用监控探头锁定了这辆车,当车接近收费站时,司机将车停了下来,绕到车尾将号牌上一个蓝色东西撕下,随后继续往收费站驶去。


    几分钟后,当这辆白车进入了收费站时,早已在此等候的交警立即上前将车拦截。

 



© 著作权归作者所有

灵玖lingjoin
粉丝 86
博文 2880
码字总数 4066035
作品 0
东城
私信 提问
加载中
请先登录后再评论。
浪潮“计算+”:聚焦三大计算,打造数据社会原动力

10月26、27日,两年一度的Inspur World大会如期而至。本次大会的主题是“Only Data 数据进化世界”。2000多名重量级政府、企业客户及合作伙伴济济一堂,围绕数据社会化的发展趋势,就云计算、...

玄学酱
2018/05/10
0
0
阿里云 MaxCompute 2020-5 月刊

导读 【5月新发布功能】 【5月新发布文档】 【5月精选技术文章】 【5月新发布功能】 1. MaxCompute迁移工具MMA2.0新版本发布 MMA2.0在技术架构上做了重构,在功能上也有重大升级,不仅提升了...

晋恒
前天
0
0
ArchSummit全球架构师峰会北京站2017

本次峰会将于2017年12月8日至9日在北京国际会议中心举办,ArchSummit全球架构师峰会北京站2017报名平台活动家。 团购票入口:https://www.huodongjia.com/event-651112390.html ArchSummit全...

活动家
2017/09/26
18
0
大牛书单 | 大数据存储方向好书分享

导语:读书是一生的功课,技术人通过读书实现自我提升,学习优秀知识沉淀。TEG书知道本期特邀腾讯云数仓数据湖产品负责人堵俊平、腾讯云数据库负责人林晓斌、腾讯TEG云架构平台部数据块中心高...

腾讯技术
2019/06/06
0
0
Java软件开发者,如何学习大数据?(了解一下)大数据的前世今生

Java软件开发者,如何学习大数据? 最近有不少初学者来问到,学习大数据,学习spark,公司主要使用那些语言编写,每听到这一个问题,起码还是很不错的,证明你已经开始学习大数据了,并了解大...

董黎明
2018/06/05
28
0

没有更多内容

加载失败,请刷新页面

加载更多

OpenvSwitch系列之四 ovs-ofctl命令使用

Open vSwitch系列之一 Open vSwitch诞生 Open vSwitch系列之二 安装指定版本ovs Open vSwitch系列之三 ovs-vsctl命令使用 Open vSwitch系列之四 ovs-ofctl命令使用 Open vSwitch系列之五 网桥...

osc_y9y4gqxx
9分钟前
6
0
27岁了,程序员写给自己的一封信

前言 相信很多人小时候的梦想都是当科学家,现在想想当初太傻,发现这些根本不可选。就跟考清华还是北大一样,当初纠结的要死,结果发现自己只是普通人,过着普通的生活,上着一眼望到头的班...

osc_teeurf8z
10分钟前
8
0
mysql 存储过程 查询结果集循环处理游标使用

注意每个版本的mysq的存储过程,触发器写法都会有些许区别,注意查看官方版本,不然你网上copy的语句可能执行无效,或者不成功 官方英文说明文档 https://dev.mysql.com/doc/refman/5.7/en/...

Love彼岸花开
11分钟前
3
0
Dump微信PC端的界面Duilib文件

零、有啥用 网上大多数的微信逆向思路,是CE搜索数据得到地址,OD下访问断点,然后在堆栈里面大海捞针的找Call,效率太低了。 其实微信的界面是用Duilib做的,Duilib的界面布局写在XML文件。...

osc_paqz1zc7
11分钟前
17
0
VNC电脑客户端,VNC电脑客户端下载!

IIS7服务器管理工具能够作为VNC的客户端,进行VNC的命令操作,可在客户端,下载,安装VNC软件! 同时,它也可以作为FTP的客户端,进行FTP的命令操作!它能够批量连接Windows和Linux系统下的服...

Raymond13
11分钟前
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部