文档章节

全球变暖的数据

 数据分析师
发布于 2016/05/27 16:56
字数 1569
阅读 7
收藏 0

今年四月,西雅图的气温已经达到华氏90度。这不是抱怨,但人们绝对相信全球变暖正在发生,需要做出一些改变来解决它。但本文并不讨论关于气候变化问题,而是关于数据的问题。具体而言,这是关于非结构化数据的增长问题,如果我们继续否认这个问题,并忽略警告的话,将会面临悲观的命运。这听起来是不是很熟悉?

人们很难对非结构化数据增长的证据进行争论,估计会与研究机构所公布的有所不同,但普遍的共识是,直到2020年将会产生40-50泽字节,其中非结构化数据将占80%-90%。

是什么推动了非结构化数据的增长?

数据增长来自于很多地方。当然也有像4K高清电影、电视节目、电影、图片,以及我们每天都在使用的智能手机的图像,但是非结构化数据的增长源要这些广泛得多。还有在各种不同行业的大量机器和传感器,例如,工程和设计,金融服务,地理空间探索,医疗保健,以及更多的数据驱动的行业日常产生的大量数据。随着摄像头分辨率和保存时间的增长,单是视频监控每天产生的非结构化数据几乎达到艾字节。

这些不同的数据集具有一些共同的特点。通常情况下,它们分别是:

·大文件的组成;

·即不可压缩的数据,如重复数据删除技术无法有效降低数据;

·对创造数据的公司、部门或用户有一定的价值;

·保存多年。

与全球变暖的相似之处

那么,非结构化数据的增长如何像全球变暖一样?

人们所表现的就像是不存在这样的问题:公司每天产生的数据都在喷涌而出,越来越多的非结构化数据进入到他们的IT环境,但是当它涉及到管理这种增长时,一切照常。尽管所有证据与之相反,许多企业仍在尝试使用数据存储,他们一直使用相同的方法来管理和存储非结构化数据集,他们把数据都存储在磁盘上。这种方法开始分解在数据的规模和比例。超出生长成本以外,随着时间的推移,将内容摄取到存储系统的速度不够快,随着时间的失衡,其能力下降,而传统的备份方法不再足以保护数据。

对于这些庞大机器和传感器生成的数据集,明确了不同的方式来存储和管理这个数据是必需的。

这样的例子不胜枚举,但问题是,对于这些类型的数据集,冷数据变得更有价值或变得更“热”,需要改变数据的存储方式。即使需要保持用户访问的归档数据。

·有关电影或电视演播室生成的视频内容,可以重新利用并重新分配,想想“幕后”你最喜欢的电视真人秀节目。

·零售企业分析视频监控录像,跟踪购物模式,并使用洞察力,以增加销售。

·科学家们能够在几年前的数据集上进行分析,以获得新的见解,并在他们的领域推进新的创新。

·自主轿车开发者使用在早期试驾生成的视频和传感器数据,使自动驾驶汽车更加安全高效。

对于这些类型的数据集,因为冷数据变得更有价值或“升温”,该数据的存储方法需要改变。即使存档的数据需要保持用户的访问。

现在有必要行动。在你下一个大订单的磁盘存储之前,现在是停止和考虑其他的替代品。坚持现状是最简单的方法,也是一个导致多余的存储成本和效率低下的问题。

这个解决方案是什么?

为了解决这个问题,我们首先介绍一下可能是一个新的术语:数据工作流。在某些行业中,这是一个共同的术语,但对于许多行业来说,它可能是一个新概念,尽管是一个直观的概念。所有这些非结构化的数据集,这是迄今为止与之相关的一个工作流。它看起来像这样的东西:数据被产生或捕获,摄入到存储系统,并进行存储和处理,以达到一定的结果(通常需要许多用户之间的协作),然后数据归档长期保存和重新使用。这个过程对使用存储系统更加有效,该存储系统从一开始就为特定的数据集的工作流程所定制。

当需要时,大数据工作流存储必须处理高性能摄取。在网络上共享也同样关键,以获得协作的能力,以及降低存储的成本,例如采用磁带,同时保持在网络上的用户和应用程序需要访问的数据。这是最后一块真正能走出来的存档数据的方式,不会破坏其价值和能力。

这个以工作流程为基础的存储方法,与将所有数据保存在闪存或机械磁盘相比,其结果显著降低了成本,并使其他组织可以存储更多的自己的数据。

而且兼顾环保节能

通过使用分层存储,可以将这些数据保存在低成本、低功耗的存储介质中,例如磁带,你实际上是在做一部分有益于环境的事,以应对全球变暖。

----------------------------------------------------------------------------------------------------------------------------

 

了解更多商业智能行业资讯,BI解决方案以及商业智能软件下载请访问FineBI商业智能官网www.finebi.com

© 著作权归作者所有

粉丝 31
博文 1645
码字总数 2338861
作品 0
邢台
私信 提问
大约一半的美国人认为气候变化不会影响他们——原因何在?

  最新的民意调查显示,多一半的美国人认为气候变化不会对他们造成影响。只有 45%的人承认全球变暖问题严重,但是只有 43%的人担心气候变化问题。实际上,气候变化已经影响到我们了——那...

DeepTech深科技
2018/04/01
0
0
科学家用人工智能可提前一年半预测厄尔尼诺事件

近日据外媒报道,韩国全南国立大学研究团队发表在英国《自然》杂志上的一项研究表明,找到了可以提前一年半预测厄尔尼诺事件的深度学习智能方法,克服了该领域的长期挑战。厄尔尼诺事件会引起...

快科技
09/21
0
0
鸟妈妈也会“胎教”吗?

一句话总结:斑胸草雀对蛋的“高温”叫声包含环境温度信息,使小鸟出生时就做好应对高温的准备,体型更小并且长大后生更多小小鸟。 胎教应对全球变暖? 很多怀孕的妈妈都希望给孩子最好的成长...

Mon1st
2016/09/12
0
0
2017年第六届数学中国数学建模国际赛(小美赛)比赛心得

本次建模比赛记录着我第一次写第一次写英文论文的经历 先放下我这次比赛的题目吧! 相信很多人看到这么长的题目,估计会望而却步吧,那我就来讲讲我这次比赛的经历吧! Day1: 早上八点,队友...

angel_kitty
2017/12/04
0
0
你不曾见过的酷炫地图可视化作品(二)

猜谜猜谜啦!你一定猜不出最后一张图是什么! 一、前言 本文是《你不曾见过的酷炫地图可视化作品(一)》的系列文章,上回整理了诸如:世界顶级学者全球迁移图、百度春运迁徙图、中国人口分布...

Deserts_X
2017/11/14
0
0

没有更多内容

加载失败,请刷新页面

加载更多

家庭作业——苗钰婷

2 编写一个程序,发出一声警报,然后打印下面的文本: Startled by the sudden sound, Sally shouted, "By the Great Pumpkin, what was that! #include<stdio.h>int main(){......

OSC_Okruuv
25分钟前
4
0
经典系统设计面试题解析:如何设计TinyURL(一)

原文链接: https://www.educative.io/courses/grokking-the-system-design-interview/m2ygV4E81AR 编者注:本文以一道经典的系统设计面试题:《如何设计TinyURL》的参考答案和解析为例,帮助...

APEMESH
26分钟前
3
0
2.面向对象设计原则(7条)

开闭原则 开闭原则的含义是:当应用的需求改变时,在不修改软件实体的源代码或者二进制代码的前提下,可以扩展模块的功能,使其满足新的需求。 实现方法 可以通过“抽象约束、封装变化”来实...

Eappo_Geng
28分钟前
6
0
8086汇编基础 debug P命令 一步完成loop循环

    IDE : Masm for Windows 集成实验环境 2015     OS : Windows 10 x64 typesetting : Markdown    blog : my.oschina.net/zhichengjiu    gitee : gitee.com/zhichengjiu   ......

志成就
32分钟前
3
0
使用nodeJS实现前端项目自动化之项目构建和文件合并

本文转载于:专业的前端网站➜使用nodeJS实现前端项目自动化之项目构建和文件合并 前面的话   一般地,我们使用构建工具来完成项目的自动化操作。本文主要介绍如何使用nodeJS来实现简单的项...

前端老手
46分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部