文档章节

重构数据处理架构 大数据平台让视频更智能

灵玖lingjoin
 灵玖lingjoin
发布于 2015/02/05 16:42
字数 2333
阅读 8
收藏 0

智慧城市的管理中,视频监控发挥着越来越重要的作用。随着视频监控数据量的飞速增长,工作人员在用传统方式对视频进行分析和检索的时候遇到了很大的挑战。而大数据技术可以重构传统视频数据处理的架构,让人们可以更快速、更智能地分析和应用视频监控的大数据。


    我国智慧城市战略已经实施了多年,全面提升了城市的管理和服务能力。而从数据上来看,市民感受城市最直接的变化就是摄像头密集度越来越高。而且,很多城市都已经开始实施“天眼工程”,为的就是实现对城市全方位无死角的监控。密集分布的摄像头网络组成了城市的公共安全视频监控系统,也提升了一个城市治安、交通、消防、市政、城管等各部门的整体管理和服务水平。


    海量视频数据带来的挑战

    随着视频监控数据量的快速增长,以及摄像头高清化、超高清化的趋势加强,视频监控数据规模将以更快的指数级别增长。以一个部署了1万个摄像头的中等城市为例,假定每个摄像头每秒压缩视频数据量为1Mb(比特),则一天共产生108TB的视频录像,一个月共产生约3PB的视频录像。


    现在,新的问题出来了,摄像头7×24小时地录制视频,让每个城市都产生了大量的视频监控文件。但是,当公安部门或交通部门希望快速搜索某时间或某些特征的视频段时,这个看似简单的想法,操作起来却犹如大海捞针。


    与通常的结构化数据不同,视频监控业务产生的数据绝大多数以非结构化的数据为主,必须经过复杂繁重的分析处理才能提取出文本结构化的数据进行下一步处理。这些都给传统视频监控体系架构、数据的管理方式、数据分析,以及视频监控数据的传输、存储和计算带宽等带来了极大的挑战。


    挑战一:数据量的急剧扩大和IT投资之间的矛盾。按照IT产业的法则:在满足客户需求的前提之下,往往技术成本越低,其生命力越强。由于数据量的急速扩大,以及随之而来的大规模计算的需求越来越多,一味采用高配硬件,使得硬件投资成为客户不可承受之重,客户越来越希望在满足需求的前提下,用中低端的硬件来替换高配硬件。


    挑战二:海量数据和有效数据之间的矛盾。摄像头7×24小时地工作如实记录镜头覆盖范围内所发生的一切。但是,大部分视频监控信息是无效的,有效信息可能只分布在一个较短的时间段内,按照数学统计的说法,信息是呈现幂律分布的,也称之为信息的密度,往往越高密度的信息对客户价值越大。


    挑战三:资源利用和效率之间的矛盾。随着视频监控数据量的增加,哪怕对TB级别的数据进行视频内容的数据分析和检索,采用传统方式都可能需要花费数小时的计算,这远远不能胜任时效性的需求。视频的分析和检索,不能依赖于传统的手段,视频智能分析必须寻找新的突破。


    因此,想要从如此海量的视频监控文件检索到所需的视频信息,必须借助特殊的技术帮忙。


    改造传统数据处理架构

    大数据理念和开源生态系统Hadoop的诞生,激活了各行业的思路。IT领域开始采用基于Hadoop的大数据技术框架对视频文件进行存储和计算,使得城市各部门的工作人员可以实现对视频的快速检索和智能分析。


    视频监控的大数据平台一般以分布式集群的方式进行建设。分布式集群能够对数据处理进行负载均衡,同时,也便于未来一段时间进行扩展。而扩展的过程也无需重新部署系统,只需增加集群节点即可提升大数据平台的整体性能。


    视频监控的大数据平台采用分布式计算,同时结合内存加速、负载均衡、本地处理,以提供高效的数据分析和挖掘能力。视频监控大数据处理过程中的存储则采用了分布式存储方式,以提高读写速度和扩大存储容量。在数据存储方面,大数据平台需要考虑以下3个方面:一是哪些数据需要保存到大数据平台上;二是如何对原有系统进行改造,原有系统中已存在的数据该如何处理;三是如何保证数据的可靠性。


    实践证明,基于大数据框架改造的传统视频处理系统架构能焕发出新的活力。首先,架构更加灵活,伸缩弹性更大。一些城市的中大型项目,由于起点的差异,缺乏视频监控架构的顶层设计,为后期的扩容升级增大了难度。在建设初期,IT规划者如果能引入基于大数据的架构,就会为未来的扩张打开通路。


    其次,可以以廉价通用的硬件产品应对视频监控数据的爆发性增长。在面向大数据的架构中,IT规划者后期可以根据视频监控业务的部署需要,设立多个HDFS(Hadoop分布式文件系统)集群,采集的流数据会被划分成段,并分布于各个数据节点上。更为重要的是,这些数据节点可以采用廉价通用型的硬件,由软件技术保证其高可靠性。这种方式避免采用传统高端硬件模式,大大降低了大数据平台的后续运维成本。


    最后,可以通过高速并行计算实现智能分析和数据挖掘。对于城市管理者来说,面对海量的视频监控数据,传统人工和串行的数据筛选方式已不能满足搜索和分析要求。基于大数据的架构就是将海量数据分解为较小的更易访问的批量数据,在多台服务器上并行分析处理,从而大大加快视频数据的处理进程。


    视频大数据的智能应用

    以2012年在南京发生的“1·6”抢劫案为例,在案件侦破过程中,南京警方从全市1万多个摄像头共提取了近2000TB的视频数据,为了处理这些视频,调动1500多名公安干警查阅搜索视频线索,共耗时一个多月的时间。很显然,通过人工查看模式,一段视频往往需要数倍于视频时间才能审看完,因此需要大量工作人员连续加班进行视频的审查,就不足为奇。


    即便如此,人海战术仍然会影响公安部门破案的进度和效率,而且也使得工作人员把过多的精力耗费在查找视频线索上来。如果这时候,有一个视频监控的大数据平台就可以在短时间内对视频中运动的物体进行检索和排除,从而大大提高公安部门的办案效率。


    时至今日,视频监控的大数据平台已经被成熟地应用于智能交通,可以轻松监控摄像覆盖范围内的所有车辆的行驶状态、运行轨迹,快速分析出其是否违章。2015年1月8日上午,在宁连高速上,一辆白色轿车飞速行驶,车内仪表盘上的时速指针已接近200公里/小时。


    与此同时,南京市高速七大队指挥室内,执勤的交警正在通过大屏幕监控着过往的车辆。当这辆白色轿车飞驰而过时,路边的测速设备捕捉到这辆车的时速已达到180公里/小时。交警利用监控探头锁定了这辆车,当车接近收费站时,司机将车停了下来,绕到车尾将号牌上一个蓝色东西撕下,随后继续往收费站驶去。


    几分钟后,当这辆白车进入了收费站时,早已在此等候的交警立即上前将车拦截。

 



© 著作权归作者所有

共有 人打赏支持
灵玖lingjoin
粉丝 85
博文 2884
码字总数 4069557
作品 0
东城
私信 提问
浪潮“计算+”:聚焦三大计算,打造数据社会原动力

10月26、27日,两年一度的Inspur World大会如期而至。本次大会的主题是“Only Data 数据进化世界”。2000多名重量级政府、企业客户及合作伙伴济济一堂,围绕数据社会化的发展趋势,就云计算、...

玄学酱
05/10
0
0
Java软件开发者,如何学习大数据?(了解一下)大数据的前世今生

Java软件开发者,如何学习大数据? 最近有不少初学者来问到,学习大数据,学习spark,公司主要使用那些语言编写,每听到这一个问题,起码还是很不错的,证明你已经开始学习大数据了,并了解大...

董黎明
06/05
0
0
七牛云产品兄弟联合搞事情 | 乔迁喜礼大放送

历经七年持续、踏实的艰辛努力,七牛云产品家族日益壮大,趁着金秋十月乔迁大喜,孩子们从繁忙的一线抽空回家团聚,兄弟相见,好不热闹。 专注基础云服务的 KODO 闯荡江湖多年,已经是云存储...

七牛云
10/11
0
0
基于DotNet构件技术的企业级敏捷软件开发平台 - AgileEAS.NET - ORM体系的改进与ORM的新成员

闲话不说了,接着前面的文章继续向大家汇报AgileEAS.NET 4.0本次重构的内容,AgileEAS.NET ORM体系的完善:本次重构调整了原有ORM的技术体系,并增加了新的Orm设计,同步兼容和支持原有Orm体...

agilelab
2011/05/06
0
0
JeeSpringCloud v3.1.1 发布,互联网云快速开发平台

JeeSpringCloud,一款免费开源的JAVA互联网云快速开发平台,微服务分布式代码生成的敏捷开发系统架构。项目代码简洁,注释丰富,上手容易,还同时集中分布式、微服务,同时包含许多基础模块和监控...

suncos
11/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Confluence 6 教程:在 Confluence 中导航

当你对 Confluence 有所了解后,你会发现 Confluence 使用起来非常简单。这个教程主要是针对你使用的 Confluence 界面进行一些说明,同时向你展示在那里可以进行一些通用的任务和操作。 空间...

honeymose
45分钟前
2
0
sed, awk 练习

1. sed打印某行到某行之间的内容 2. sed 转换大小写 将单词首字母转化大写 将所有小写转化大写 3. sed 在某一行最后面添加一个数字 4. 删除某行到最后一行 解析: {:a;N;$!ba;d} :a : 是...

Fc丶
今天
2
0
babel6升级到7,jest-babel报错:Requires Babel "^7.0.0-0", but was loaded with "6.26.3".

自从将前端环境更新到babel7,jest-babel之前是基于babel6的,执行时候就会报:Requires Babel "^7.0.0-0", but was loaded with "6.26.3". 很烦,因为连续帮好几台电脑修复这个问题,所以记...

曾建凯
今天
1
0
探索802.11ax

802.11ax承诺在真实条件下改善峰值性能和最差情况。 如何改善今天的Wi-Fi? 在决定如何改进当前版本以外的Wi-Fi时,802.11ac,IEEE和Wi-Fi联盟调查了Wi-Fi部署和行为,以确定更广泛使用的障碍...

linuxprobe16
今天
2
0
使用linux将64G的SDCARD格式化为FAT32

一、命令如下: sudo fdisk -lsudo mkfs.vfat /dev/sda -Isudo fdisk /dev/sda Welcome to fdisk (util-linux 2.29.2). Changes will remain in memory only, until you decide to wri......

mbzhong
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部