文档章节

谈“优化”的本质

lnwazg
 lnwazg
发布于 2016/06/30 10:31
字数 681
阅读 27
收藏 0

优化的本质,是模拟,是用强项去(模拟)替代弱项。

举证一:

例如,云计算中,对于大数据的存储(TB、PB级别的数据),任何一种普通的文件系统都是难以承受这种数量级的数据的。因此Hdfs的方案便出来了,hdfs是用逻辑上的文件系统去模拟现实世界中的文件系统。hdfs的集群中的每台机器所使用的文件系统依然是传统的ext4文件系统,这就保证了现实可行性。然而,整个集群可以从逻辑上看成是一个整体,是一个虚拟的文件系统,被称为hdfs。正因为它是虚拟的系统,是对现实世界的仿真,因此它才能做到存储任意大小的数据量(理论上无上限)。

这里,强项是每台机器的真实文件系统资源,弱项是单机PB级别的数据。 既然弱项无法实现,那么就曲线救国,用模拟的方式去实现,而模拟的hdfs虽然是个虚拟的文件系统,却不影响实际生产环境的使用(因为有配套的运行在这套虚拟文件系统之上的软件生态,例如mr、spark、storm等等)。

曲线救国的思想很重要,很多时候,用一项事物(强项,现时可行的科技)去模拟另一项事物(弱项,现时难以实现的科技),可能是最具性价比的方案,甚至可能是唯一的解决方案。

 

 

举证二:

分布式关系数据库在现阶段很难实现,那么如何去获得存储数据量无上限的、支持快速sql查询的数据库呢?

答案是:目前没有一个公认最佳的直接解决方案。 但是我们可以换一个思路去模拟实现。

Spark就是这其中最强大的一个实现。Spark构建在hdfs之上,因此数据存储这一块原生就是分布式且无数据上限限制的。

另外,Spark的DataFrame的api支持类似与Sql语句的操作,底层对类sql语句进行翻译转换成Spark引擎的任务,配合内存计算的特点,可以快速执行查询并返回结果,这样,就完成了sql查询的支持。

两者结合,Spark完美模拟实现了分布式关系数据库:虽然它本质上并不是一个真正的分布式关系数据库,但是它的用法很像分布式关系数据库!目前来讲,也算是个不错的解决方案了!

 

© 著作权归作者所有

lnwazg

lnwazg

粉丝 19
博文 8
码字总数 13103
作品 4
南京
程序员
私信 提问
加载中

评论(2)

lnwazg
lnwazg 博主

引用来自“西米小娅”的评论

52
52
西米小娅
西米小娅
52
【10000+文章汇总】技巧都在这里了,你也能写出1w+好文!

自 #我要10000+# 计划启动以来,已经有多位作者参与其中,我们通过文章专属推广渠道,取得了惊人的效果!单篇文章的阅读量,最高达到55倍的阅读量增长。从默默无闻,到有人喜欢,获得关注的同...

51CTO博客
2017/08/08
0
0
从 JavaScript 数组去重谈性能优化

缘由 JavaScript 数组去重经常出现在前端招聘的笔试题里,比如: 有数组 var arr = ['a', 'b', 'c', '1', 0, 'c', 1, '', 1, 0],请用 JavaScript 实现去重函数 unqiue,使得 unique(arr) 返......

铂金小猪
2013/02/27
2
0
关于应不应该选择Flash/Flex的一点愚见

这篇文章 http://www.oschina.net/news/31896/html5-vs-flash-flex http://www.infoq.com/cn/news/2012/08/html5-vs-flash-flex 引发的思考 不提文章中的种种错误了,就谈技术选择吧,很多人...

mallon
2012/08/16
649
11
介直投资合伙人周攀:关于区块链教育的四点认知

介直投资合伙人周攀:关于区块链教育的四点认知 互联网+余音未尽,区块链+已马不停蹄,区块链+教育会给我们的生活带来怎样的冲击、改变、进步,和颠覆?近日,介直投资合伙人周攀在由谢宏中主...

脑海链
2018/08/06
0
0
人工智能《哥德尔、埃舍尔、巴赫:集异璧之大成》

本文转载:92UR铀报 计算机科学里有一本奇书,它的作者是人工智能领域里不可忽视的人物;这本书的名字叫《哥德尔、埃舍尔、巴赫:集异璧之大成》,这个人就是侯世达。 编辑的话:“侯世达”是...

胡淘峰
2014/03/05
2.3K
2

没有更多内容

加载失败,请刷新页面

加载更多

nginx学习笔记

中间件位于客户机/ 服务器的操作系统之上,管理计算机资源和网络通讯。 是连接两个独立应用程序或独立系统的软件。 web请求通过中间件可以直接调用操作系统,也可以经过中间件把请求分发到多...

码农实战
今天
5
0
Spring Security 实战干货:玩转自定义登录

1. 前言 前面的关于 Spring Security 相关的文章只是一个预热。为了接下来更好的实战,如果你错过了请从 Spring Security 实战系列 开始。安全访问的第一步就是认证(Authentication),认证...

码农小胖哥
今天
10
0
JAVA 实现雪花算法生成唯一订单号工具类

import lombok.SneakyThrows;import lombok.extern.slf4j.Slf4j;import java.util.Calendar;/** * Default distributed primary key generator. * * <p> * Use snowflake......

huangkejie
昨天
12
0
PhotoShop 色调:RGB/CMYK 颜色模式

一·、 RGB : 三原色:红绿蓝 1.通道:通道中的红绿蓝通道分别对应的是红绿蓝三种原色(RGB)的显示范围 1.差值模式能模拟三种原色叠加之后的效果 2.添加-颜色曲线:调整图像RGB颜色----R色增强...

东方墨天
昨天
11
1
将博客搬至CSDN

将博客搬至CSDN

算法与编程之美
昨天
13
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部