文档章节

“阿里巴巴大数据系统体系”学习笔记-纲领篇

 许此一生
发布于 2018/08/29 16:21
字数 895
阅读 36
收藏 1

你是做什么的?

数据产品经理”看到对方一脸懵逼之后,再补充一句大数据相关的工作

哦~,高大上,不懂

 

过去5年,“大数据”是最火的一个概念,被纷繁解读。在我看来,数据跟石油、煤炭一样是一种资源。这种资源其实很早之前就被发现、被应用。只不过因为互联网的发展,数据这种资源呈现出了“爆炸式”的增长,而人们也发现了它巨大的潜在价值;预计到2020年,全球数据总量将超过40ZB(相当于40万亿GB)。

 

所以面对如此“量大”、“价值大”的资源,我们需要建立一套从数据采集、计算到服务到应用的“大数据体系”,就跟“石油体系’一样有勘探、采集、传输、加工、应用等;由此也萌生出一批“大数据体系”相关的工种。

 

阿里巴巴作为距离大数据最近的公司之一,既有丰富的数据资源也有丰富的应用场景,从它建构的大数据体系了解“大数据”这条生态链的全貌,我认为是比较科学的。

 

阿里巴巴大数据系统体系”设计原则:满足不断变化的业务需求,同时实现系统的高度扩展性、灵活性以及数据展现的高性能。

 

阿里巴巴大数据系统体系”主要分为数据采集、数据计算、数据服务和数据应用四大层次;

  1. 数据采集

    Web端日志采集技术方案:Aplus.JS

    APP端日志采集技术方案:UserTrack

    生产业务—>大数据系统传输:

    TimeTunnel(TT),既包括数据库的增量数据传输,也包括日志数据的传输;既支持实时流式计算,也支持各种时间窗口的批量计算;

    数据同步工具(DataX和同步中心)直连异构数据库来抽取各种时间窗口的数据;

  2. 数据计算

    MaxCompute-离线计算平台:阿里自研的离线大数据平台,拥有强大的存储和计算能力;

    StreamCompute-实时计算平台:阿里自研的流式大数据平台,支持流式计算需求;

    OneData-数据整合及管理体系:数据整合及管理的方法体系和工具,大数据工程师在这一体系下,构建统一、规范、可共享的全域数据体系,避免数据的冗余和重复建设,规避数据烟囱和不一致性。

  3. 数据服务

    OneService-统一的数据服务平台:以数据仓库整合计算好的数据作为数据源,对外通过接口的方式提供数据服务,主要提供简单数据查询服务、复杂数据查询服务和实时数据推送服务三大特色数据服务

  4. 数据应用

    数据作为新能源,需要通过合适的应用提供给用户,让数据最大化地发挥价值。应用表现可以在搜索、推荐、广告、金融、物流等各个方面。

f183c15f90e53f86346258be025f4c0f1710124b

转载:数据产品笔记本

© 著作权归作者所有

粉丝 5
博文 36
码字总数 68827
作品 0
私信 提问
8月15日云栖精选夜读 | 马云最新演讲:为什么要别人帮你?不帮你才是常态 | 超燃视频

If not now, when? If not me, who? 我去年来非洲的时候就感觉,有一些事情必须要做,很多事情可以去做。 我开始阿里巴巴创业的时候,我和团队说:If not now, when? If not me, who?...

yq传送门
2018/08/15
0
0
热乎的笔记:阿里巴巴大数据系统体系——数据产品经理亲笔写就

‘你是做什么的?’ ‘数据产品经理’看到对方一脸懵逼之后,再补充一句‘大数据相关的工作’ ‘哦~,高大上,不懂’ 过去5年,‘大数据’是最火的一个概念,被纷繁解读。在我看来,数据跟石...

阿里云科技快讯
2018/08/19
0
0
年薪百万的大数据开发工程师的入门书单(收藏)

前言 你们是不是都听过一句话:谷歌比你自己更了解你 事实上,这句话并不是毫无根据,我们周边的一切无不体现数据的重要性,你想想,我们对自己的看法会受到多种主观和客观的因素影响,但谷歌...

风火大数据
2018/07/21
0
0
解决现实世界问题的四大机器学习策略

解决现实世界问题的四大机器学习策略 原文: Four machine learning strategies for solvingreal-world problems 来: https://blogs.sas.com/content/subconsciousmusings/2018/10/17/four-m......

数据分析v
2018/11/06
0
0
十年磨一剑,阿里巴巴推荐与搜索深度学习服务体系AI·OS在云栖大会正式亮相

2018年9月21~22日,在以“驱动数字科技”为主题的云栖大会上,阿里巴巴搜索事业部特别推出了“搜索推荐专场”,“推荐与搜索引擎AI·OS专场”,深度参与了这场科技盛宴。 阿里巴巴推荐与搜索...

jaredguo
2018/09/27
0
0

没有更多内容

加载失败,请刷新页面

加载更多

用原生js对表格排序

本文转载于:专业的前端网站➸用原生js对表格排序 阿里的模拟笔试题,当时时间有限没写出来,其实是因为自己对原生dom操作不熟悉,这里补一下。 题目的大意是有一个表格,如代码所示 <table>...

前端老手
38分钟前
6
0
IT兄弟连 HTML5教程 HTML5表单 HTML5新增表单元素

HTML5有一些新的表单元素:<datalist>、<keygen>、<output>。不是所有的浏览器都支持HTML5新的表单元素,但即使浏览器不支持该表单属性,仍然可以显示为常规的表单元素。 1 <datalist>元素 ...

老码农的一亩三分地
40分钟前
4
0
【朝花夕拾】Android自定义View篇之(一)View绘制流程

https://www.cnblogs.com/andy-songwei/p/10955062.html

shzwork
42分钟前
5
0
Qt编写自定义控件70-扁平化flatui

一、前言 对于现在做前端开发人员来说,FlatUI肯定不陌生,最近几年扁平化的设计越来越流行,大概由于现在PC端和移动端的设备的分辨率越来越高,扁平化反而看起来更让人愉悦,而通过渐变色产...

飞扬青云
51分钟前
3
0
教你玩转Linux—添加批量用户

添加和删除用户对每位Linux系统管理员都是轻而易举的事,比较棘手的是如果要添加几十个、上百个甚至上千个用户时,我们不太可能还使用useradd一个一个地添加,必然要找一种简便的创建大量用户...

Linux就该这么学
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部