大数据来了,数据库爆仓了,宝宝们怎么办?

2017/04/06 21:48
阅读数 38

双11来了,快递企业包裹量剧增。数据显示,11月10日到11月17日7天时间,全行业需要处理的快件量近6亿件,日最高处理量将接近1亿件,是今年以来日常处理量的3倍。

 

虽然各大快递公司都事先增加了人员、设备、仓库,提升了运能,但面临的压力仍旧空前。

 

dda88dc9e05106807c1b8b90c5916e62092b1272

 

 

 

直播火了,用户每天产生的日志越来越多,数据存储成本越来越高,数据分析效率越来越低。如何解决海量数据存储、如何挖掘用户特征、如何增强用户粘性是直播平台面临的生存问题。

 

c1d68ff024aa7e65466659e62f8d563ea0e7eb1d

 

 

历史告诉我们,有些事情不要等发生了再干!

 

介绍神器前,我们先来看一下某互联网大数据分析师宝宝使用洪荒之力后的收益

1.迁移到MaxCompute后,流程上做了优化,省掉了编写MR程序的工作,日志数据全部通过SQL进行分析,工作效率提升了5倍以上。
2.存储方面,MaxCompute的表按列压缩存储,更节省存储空间,整体存储和计算的费用比之前省了70%,性能和稳定性也有很大提升。
3.可以借助MaxCompute上的机器学习算法,对数据进行深度挖掘,为用户提供个性化的服务。
4.阿里云MaxCompute提供更为易用、全面的大数据分析功能。MaxCompute可根据业务情况做到计算资源自动弹性伸缩,天然集成存储功能。通过简单的几项配置操作后,即可完成数据上传,同时实现了多种开源软件的对接。

 

接下来,我们给分析师宝宝们两件神器,TB级数据同步工具-DTS;海量数据存储及计算工具MaxCompute。

神器介绍:

阿里云大数据计算服务MaxCompute https://www.aliyun.com/product/odps

阿里云DTS https://promotion.aliyun.com/ntms/act/mysqlodps.html

 

【如何发动洪荒之力】

ac9b99d2f6af34b7ee46f2dec88b8552265ec446

基于阿里云MaxCompute的海量数据在线存储-数据通过DTS将RDS(MySQL)数据导入MaxCompute海量数据实时同步 

https://help.aliyun.com/document_detail/44547.html

 

基于阿里云MaxCompute的海量数据在线分析

https://data.aliyun.com/experience/case1?spm=a2c0j.8276430.623093.3.aUnIYD

 

更多数据同步方法点击  

https://yq.aliyun.com/articles/65376?spm=0.0.0.0.sjT1UY

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部