上一篇，我们借助Sqlite分析了2000w条数据，分析结果不错，但有一个问题：造数据很耗时（花费了2个小时）、sql查询同样很耗时（分组汇总查询一次大概需要30秒）。 那么，我们可以尝试下直接在...

优化的本质，是模拟，是用强项去（模拟）替代弱项。 举证一： 例如，云计算中，对于大数据的存储（TB、PB级别的数据），任何一种普通的文件系统都是难以承受这种数量级的数据的。因此Hdfs的方...

总所周知，Spark在内存计算领域非常强势，是未来计算的方向。Spark支持类Sql的语法，方便我们对DataFrame的数据进行统计操作。 但是，作为初学者，我们今天暂且不讨论Spark的用法。我给自己提...

程序员之所以选择使用一种技术，其背后会有很多种原因，有从项目需求出发的，有从个人偏好出发的。 但一项技术如果想流行开来，必定需要满足很多条件，其中最重要的一点便是简单性！ 复杂、繁...

什么才是轻量级框架？ 就是那种不需要你做太多的事情、开箱即用的工具类。 小而美，是轻量级框架的核心特征。

对比 MapReduce、Storm、4in1、Hive、Impala等分布式计算框架，可以得出如下结论： 普适（例如MapReduce框架 ）是优点，但也是限制所在。 普适采用的是“一条道跑到黑”的理论，对于结构简单...