文档章节

基于mdrill的大数据分析

开心延年
 开心延年
发布于 2014/03/05 19:09
字数 1101
阅读 591
收藏 2

项目简介

    数据越来越多,传统的关系型数据库支撑不了,分布式数据仓库又非常贵。几十亿、几百亿、甚至几千亿的数据量,如何才能高效的分析?
mdrill是由阿里妈妈开源的一套数据的软件,针对TB级数据量,能够仅用10台机器,达到秒级响应,数据能实时导入,可以对任意的维度进行组合与过滤。
    mdrill作为数据在线分析处理软件,可以在几秒到几十秒的时间,分析百亿级别的任意组合维度的数据。
在阿里10台机器完成每日30亿的数据存储,其中10亿为实时的数据导入,20亿为离线导入。目前集群的总存储1000多亿80~400维度的数据。

mdrill的特性

1.满足大数据查询需求:adhoc每天的数据量为30亿条,随着日积月累,数据会越来越大,mdrill采用列存储,索引,分布式技术,适当的分区等满足用户对数据的实时在线分析的需求。
2.支持增量更新:离线形式的mdrill数据支持按照分区方式的增量更新。
3.支持实时数据导入:在仅有10台机器的情况下,支持每天10亿级别(高峰每小时2亿)的实时导入。
4.响应时间快:列存储、倒排索引、高效的数据压缩、内存计算,各种缓存、分区、分布式处理等等这些技术,使得mdrill可以仅在几秒到几十秒的时间分析百亿级别的数据。
5.低成本:目前在阿里adhoc仅仅使用10台48G内存的PC机,但确存储了超过千亿规模的数据。
6.全文检索模式:强大的条件设置,任意组合,无论难易秒级预览,每天160亿的数据随意筛选。

mdrill数据量的增长

时间点

数据量

事件

12年12月

小于2亿

adhoc首次上线

13年1月

20~30亿

由2台机器扩容到了10台

13年5月2日

100亿

首次过百亿

13年7月24日

400亿

首次开源

13年11月

1000亿

全文检索模式ods_allpv_ad_d上线

13年12月

1500亿

实时数据以及无线数据的接入

14年2月

3200亿

目前只有11台机器,硬盘使用率30%

发行日志

2013.07.24 version 0.18-beta  初始化版本  
2013.08.07 version 0.18.1-beta bug fix see detail  
2013.08.17 version 0.18.2-beta speed up see detail  (下载)
2013.09.01 version 0.19-alpha HA by replication see detail  (此版本需要一定时间的测试与调整,慎用)
2013.09.26 version 0.19.1-beta Bug Fix see detail  (下载)
2013.09.29 version 0.19.2-beta Bug Fix (下载)
2013.10.09 version 0.19.3-beta speed up (此版本有严重BUG,请勿使用,下载)
2013.10.13 version 0.19.4-beta mergerServer优化&&bugfix (推荐版本,下载,依赖的zeromq从这里下载)
2013.11.19 version 0.20.1-alpha 使用hdfs进行检索&&实时append see detail(alpha版本,慎用。 源码下载)
2013.12.03 version 0.20.2-alpha 全文检索模式优化 see detail(alpha版本,慎用。 源码下载)
2013.12.05 version 0.20.3-alpha bugfix (alpha版本,慎用。 源码下载)
2014.01.02 version 0.20.4-alpha 通过editlog来保证实时数据的可靠性 see detail(alpha版本,慎用。 源码下载)
2014.01.14 version 0.20.5-alpha bug fix (下载)
2014.01.26 version 0.20.6-alpha bug fix (下载)
2014.02.08 version 0.20.7-alpha cache改进 see detail  (点击这里下载 。)
2014.02.18 version 0.20.8.3-alpha bugfix&&重写调度&&优化 see detail  (点击这里下载)
2014.03.05 version 0.20.9-beta bugfix see detail  (推荐版本点击这里下载 。依赖的zeromq从这里下载)

版本源码路径

https://github.com/alibaba/mdrill/tree/master/release  

资源列表

mdrill Core contributors

jstorm Core contributors 点击进入

其他


© 著作权归作者所有

开心延年

开心延年

粉丝 16
博文 17
码字总数 67948
作品 1
东城
程序员
私信 提问
adhoc-海量数据多维自助即席查询平台-mdrill项目开源啦

adhoc-海量数据多维自助即席查询平台-mdrill项目开源啦 1:mdrill是阿里妈妈-adhoc-海量数据多维自助即席查询平台下的一个子项目。 2:mdrill旨在帮助用户在几秒到几十秒的时间内,分析百亿级...

开心延年
2013/07/23
760
4
干净虚拟机(centos 6.4)上从头到尾安装并调试Mdrill(一)

前言 淘宝Mdrill号称很强大,其所用硬件设备也很强大。但对于学习者来说,虚拟机是最经济的选择了,本文只说明如何在干净虚拟机(cen os 6.4)上安装并调试Mdrill。原理不做说明,具体请参考官...

292672967
2014/03/18
2.4K
1
干净虚拟机(centos 6.4)上从头到尾安装并调试Mdrill(二)

7、安装mdrill 服务安装 拷贝alimama-adhoc.tar.gz到/home/mdrill,解压并替换lib目录中的hadoop-core-0.20.2.jar为hadoop-core-0.20.2-cdh3u3.jar;拷贝hadoop服务lib目录下guava-r09-jarja......

292672967
2014/03/18
2.4K
0
针对mdrill的一块硬伤的总结以及改进的思路 .

针对mdrill的一块硬伤的总结以及改进的思路 . http://user.qzone.qq.com/165162897/blog/1398224491 憋了好久,今天在群友的引导下,出现了一个想法。 至此,mdrill不在像其他的产品比如说d...

开心延年
2014/04/23
549
0
干净虚拟机(centos 6.4)上从头到尾安装并调试Mdrill(三)

新建表 9.1建表SQL CREATE TABLE st( thedate string, c1 string, c2 tdouble, cnt tlong ) 注意: 列名只能小写(系统限制)。 有一列必须是thedate。 2执行建表命令 将建表SQL存储成名称为...

292672967
2014/03/18
1K
0

没有更多内容

加载失败,请刷新页面

加载更多

浅谈prototype原型模式

一、原型模式简介 原型(Prototype)模式是一种对象创建型模式,他采取复制原型对象的方法来创建对象的实例。使用原型模式创建的实例,具有与原型一样的数据。 原型模式的特点: 1、由原型对...

青衣霓裳
25分钟前
6
0
shell mysql 备份

#!/bin/bash time2=$(date "+%Y-%m-%d-%H:%M:%S") /usr/local/mysql/bin/mysqldump -uroot -p ad > /usr/local/mysql/backup/"$time2".sql 变量引用原来是这么用的。......

奋斗的小牛
33分钟前
4
0
Jmeter监控Linux服务器操作

系统:Win7 64位 工具:Jmeter 4.0 要准备好的插件:JMeterPlugins-Standard-1.4.0,ServerAgent-2.2.1 解压JMeterPlugins-Standard-1.4.0.zip,将其中\lib\ext\JMeterPlugins-Standard.jar......

魔鬼妹子
33分钟前
5
0
系列文章:云原生Kubernetes日志落地方案

在Logging这块做了几年,最近1年来越来越多的同学来咨询如何为Kubernetes构建一个日志系统或者是来求助在这过程中遇到一系列问题如何解决,授人以鱼不如授人以渔,于是想把我们这些年积累的经...

Mr_zebra
34分钟前
5
0
入门必备!快速学会用Aspose.Words在表格中插入和删除列!

Aspose.Words For .Net(点击下载)是一种高级Word文档处理API,用于执行各种文档管理和操作任务。API支持生成,修改,转换,呈现和打印文档,而无需在跨平台应用程序中直接使用Microsoft W...

mnrssj
39分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部