文档章节

重构数据处理架构 大数据平台让视频更智能

灵玖lingjoin
 灵玖lingjoin
发布于 2015/02/05 16:42
字数 2333
阅读 8
收藏 0

智慧城市的管理中,视频监控发挥着越来越重要的作用。随着视频监控数据量的飞速增长,工作人员在用传统方式对视频进行分析和检索的时候遇到了很大的挑战。而大数据技术可以重构传统视频数据处理的架构,让人们可以更快速、更智能地分析和应用视频监控的大数据。


    我国智慧城市战略已经实施了多年,全面提升了城市的管理和服务能力。而从数据上来看,市民感受城市最直接的变化就是摄像头密集度越来越高。而且,很多城市都已经开始实施“天眼工程”,为的就是实现对城市全方位无死角的监控。密集分布的摄像头网络组成了城市的公共安全视频监控系统,也提升了一个城市治安、交通、消防、市政、城管等各部门的整体管理和服务水平。


    海量视频数据带来的挑战

    随着视频监控数据量的快速增长,以及摄像头高清化、超高清化的趋势加强,视频监控数据规模将以更快的指数级别增长。以一个部署了1万个摄像头的中等城市为例,假定每个摄像头每秒压缩视频数据量为1Mb(比特),则一天共产生108TB的视频录像,一个月共产生约3PB的视频录像。


    现在,新的问题出来了,摄像头7×24小时地录制视频,让每个城市都产生了大量的视频监控文件。但是,当公安部门或交通部门希望快速搜索某时间或某些特征的视频段时,这个看似简单的想法,操作起来却犹如大海捞针。


    与通常的结构化数据不同,视频监控业务产生的数据绝大多数以非结构化的数据为主,必须经过复杂繁重的分析处理才能提取出文本结构化的数据进行下一步处理。这些都给传统视频监控体系架构、数据的管理方式、数据分析,以及视频监控数据的传输、存储和计算带宽等带来了极大的挑战。


    挑战一:数据量的急剧扩大和IT投资之间的矛盾。按照IT产业的法则:在满足客户需求的前提之下,往往技术成本越低,其生命力越强。由于数据量的急速扩大,以及随之而来的大规模计算的需求越来越多,一味采用高配硬件,使得硬件投资成为客户不可承受之重,客户越来越希望在满足需求的前提下,用中低端的硬件来替换高配硬件。


    挑战二:海量数据和有效数据之间的矛盾。摄像头7×24小时地工作如实记录镜头覆盖范围内所发生的一切。但是,大部分视频监控信息是无效的,有效信息可能只分布在一个较短的时间段内,按照数学统计的说法,信息是呈现幂律分布的,也称之为信息的密度,往往越高密度的信息对客户价值越大。


    挑战三:资源利用和效率之间的矛盾。随着视频监控数据量的增加,哪怕对TB级别的数据进行视频内容的数据分析和检索,采用传统方式都可能需要花费数小时的计算,这远远不能胜任时效性的需求。视频的分析和检索,不能依赖于传统的手段,视频智能分析必须寻找新的突破。


    因此,想要从如此海量的视频监控文件检索到所需的视频信息,必须借助特殊的技术帮忙。


    改造传统数据处理架构

    大数据理念和开源生态系统Hadoop的诞生,激活了各行业的思路。IT领域开始采用基于Hadoop的大数据技术框架对视频文件进行存储和计算,使得城市各部门的工作人员可以实现对视频的快速检索和智能分析。


    视频监控的大数据平台一般以分布式集群的方式进行建设。分布式集群能够对数据处理进行负载均衡,同时,也便于未来一段时间进行扩展。而扩展的过程也无需重新部署系统,只需增加集群节点即可提升大数据平台的整体性能。


    视频监控的大数据平台采用分布式计算,同时结合内存加速、负载均衡、本地处理,以提供高效的数据分析和挖掘能力。视频监控大数据处理过程中的存储则采用了分布式存储方式,以提高读写速度和扩大存储容量。在数据存储方面,大数据平台需要考虑以下3个方面:一是哪些数据需要保存到大数据平台上;二是如何对原有系统进行改造,原有系统中已存在的数据该如何处理;三是如何保证数据的可靠性。


    实践证明,基于大数据框架改造的传统视频处理系统架构能焕发出新的活力。首先,架构更加灵活,伸缩弹性更大。一些城市的中大型项目,由于起点的差异,缺乏视频监控架构的顶层设计,为后期的扩容升级增大了难度。在建设初期,IT规划者如果能引入基于大数据的架构,就会为未来的扩张打开通路。


    其次,可以以廉价通用的硬件产品应对视频监控数据的爆发性增长。在面向大数据的架构中,IT规划者后期可以根据视频监控业务的部署需要,设立多个HDFS(Hadoop分布式文件系统)集群,采集的流数据会被划分成段,并分布于各个数据节点上。更为重要的是,这些数据节点可以采用廉价通用型的硬件,由软件技术保证其高可靠性。这种方式避免采用传统高端硬件模式,大大降低了大数据平台的后续运维成本。


    最后,可以通过高速并行计算实现智能分析和数据挖掘。对于城市管理者来说,面对海量的视频监控数据,传统人工和串行的数据筛选方式已不能满足搜索和分析要求。基于大数据的架构就是将海量数据分解为较小的更易访问的批量数据,在多台服务器上并行分析处理,从而大大加快视频数据的处理进程。


    视频大数据的智能应用

    以2012年在南京发生的“1·6”抢劫案为例,在案件侦破过程中,南京警方从全市1万多个摄像头共提取了近2000TB的视频数据,为了处理这些视频,调动1500多名公安干警查阅搜索视频线索,共耗时一个多月的时间。很显然,通过人工查看模式,一段视频往往需要数倍于视频时间才能审看完,因此需要大量工作人员连续加班进行视频的审查,就不足为奇。


    即便如此,人海战术仍然会影响公安部门破案的进度和效率,而且也使得工作人员把过多的精力耗费在查找视频线索上来。如果这时候,有一个视频监控的大数据平台就可以在短时间内对视频中运动的物体进行检索和排除,从而大大提高公安部门的办案效率。


    时至今日,视频监控的大数据平台已经被成熟地应用于智能交通,可以轻松监控摄像覆盖范围内的所有车辆的行驶状态、运行轨迹,快速分析出其是否违章。2015年1月8日上午,在宁连高速上,一辆白色轿车飞速行驶,车内仪表盘上的时速指针已接近200公里/小时。


    与此同时,南京市高速七大队指挥室内,执勤的交警正在通过大屏幕监控着过往的车辆。当这辆白色轿车飞驰而过时,路边的测速设备捕捉到这辆车的时速已达到180公里/小时。交警利用监控探头锁定了这辆车,当车接近收费站时,司机将车停了下来,绕到车尾将号牌上一个蓝色东西撕下,随后继续往收费站驶去。


    几分钟后,当这辆白车进入了收费站时,早已在此等候的交警立即上前将车拦截。

 



© 著作权归作者所有

共有 人打赏支持
灵玖lingjoin
粉丝 85
博文 2884
码字总数 4069557
作品 0
东城
浪潮“计算+”:聚焦三大计算,打造数据社会原动力

10月26、27日,两年一度的Inspur World大会如期而至。本次大会的主题是“Only Data 数据进化世界”。2000多名重量级政府、企业客户及合作伙伴济济一堂,围绕数据社会化的发展趋势,就云计算、...

玄学酱
05/10
0
0
Java软件开发者,如何学习大数据?(了解一下)大数据的前世今生

Java软件开发者,如何学习大数据? 最近有不少初学者来问到,学习大数据,学习spark,公司主要使用那些语言编写,每听到这一个问题,起码还是很不错的,证明你已经开始学习大数据了,并了解大...

董黎明
06/05
0
0
你可能不知道的大数据开发的十个技巧

前言 “当你不创造东西时,你只会根据自己的感觉而不是能力去看待问题。” – WhyTheLuckyStiff 汇总一些自己在大数据路上走过的弯路,愿大家不再掉坑… 1.分布式存储 传统化集中式存储存在已...

风火数据
05/14
0
0
NLPIR智能完美融合人工智能和自然语言处理

  数据发展到今天,已不再是一个新的概念,基于大数据技术的应用也层出不穷,但作为一项发展前景广阔的技术,其很多作用还有待挖掘,比如为人们的生活带来方便,为企业带来更多利益等。现今...

ljrj123
08/29
0
0
2017亚太CDN峰会盛大开幕 SinoBBD打造一体化开放式云平台

4月12日,CDN行业年度盛典——第五届亚太CDN峰会在京举行。本次大会汇聚全球多个国家、500多家企业和数万人参与。作为大数据领域的代表性企业,北京供销大数据集团(SinoBBD)受邀参会。北京...

玄学酱
04/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

AIX 系统 (资源)

AIX--zabbix agent的编译安装以及遇到的“坑” 荐 : http://blog.51cto.com/lythjq/2128354 AIX--操作系统安装(AIX 6.1) : http://blog.51cto.com/lythjq/2128119...

寰宇01
38分钟前
0
0
Spring 转换 model 为 json 时增加属性

缘起 目前的项目中有个需求是在附件对象转换成 json 时增加个 url 属性,以前的方式是在返回附件对象或列表时候做一次统一处理,这次想看看 spring 或者 jackson fasterxml 是否自带类似功能...

郁也风
38分钟前
1
0
10大PHP比特币开源项目

如果你是一个Phper,如果你希望学习区块链,那么本文列出的 10个开源的Php比特币项目,将有助于你了解在自己的应用中 如何加入对比特币的支持。 如果你希望快速掌握使用Php对接比特币钱包的方...

汇智网教程
今天
1
0
springclould feign客户端添加全局参数

用springclould feign作为调用服务的客户端,一般来说参数可以写在feignclient的方法参数里 有时需要所有feign请求都统一添加一些参数,例如token用于鉴权等,可以这样做: 添加一个配置类,...

canneljls
今天
1
0
win32截屏并rgb24转yuv420

//最终f的内存布局为BGRA格式,需要保证buf长度足够(>w*h*4)void ScreenCap(void* buf, int w, int h){ HWND hDesk = GetDesktopWindow(); HDC hScreen = GetDC(hDesk); ......

styleman
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部