文档章节

2016Qcon上海之旅

_夜枫
 _夜枫
发布于 2017/03/23 20:52
字数 839
阅读 6
收藏 0

主要是大数据应用方向
早上第一个听了IBM 企业海量数据以及全面云数据服务实践,主要介绍 了IBM 云计算的应用场景,主要是介绍IBM 在云数据服务方面的应用,主要是分享了几个客户案例,其中一个是央视的西藏骑行的电视直播,中间涉及物理设备数据采集,背后实时的数据分析,结合地理位置 数据,地图以及运动员数据同时支持可视化,提升活动本身的参与性,整体全部基于IBM云服务来做。整个开发周期10天,可见IBM在解决方案级别的能力较强,其次主要介绍了IBM 的云服务。如下:
1

其次就是阿里巴巴的神盾介绍集团的风控平台,整体建设思路和蚂蚁的风控平台类似。
2
3
4


这里融合计算概念没有讲的很清楚,其次基于zk 做指标逻辑的动态更新,而不需要中断指标计算。

接下来主要是基于Elastic Stack 做的大数据多维分析。目前国内应用较多的大数据多维分析工具,一个是apache kylin 一个就是es。这里主要介绍如何应用es 做指标分析。
5

1)数据收集:logstash+beats
     
Logstash:在 server 端,处理传入的日志,采用pipeline 的模式过滤计算数据,不支持数据之间的聚合操作。
      
beats:在client端,用于采集各种情况下的日志,日志包括DB,redis,http,top,file,消息队列。
2)数据分析:elasticsearch
   
 elasticsearch 可以作为OLAP引擎来用。
     
elasticsearch目前加入了很多聚合的功能,包括
   
 a)支持一些数据分析功能,包括柱状图、分布、统计、地理
 
  b)支持任何数据:只要数据能被查询,就可以被分析
    
  c)按需计算和实时性:可以按需实时计算、实时性在秒左右
  
  d)可嵌套组合


3)数据展现:kibana
   kibana被用作数据展示工具,Web 界面,用来搜索和可视化日志。
现场看了一下es的演示,因为结合了可视化,数据采集以及数据清洗以及多维分析的能力,整体体验较为不错。

下午重点:
主要是携程推荐平台负责人介绍了携程推荐平台的介绍,核心点主要是rerank 以及abtest ,根据携程的业务特有的推荐特征筛选等等。
6
7

另外比较重要的就是阿里巴巴宗超介绍了集团在海量数据下数据研发体系的建设和管理,由于数据的暴增如何解决多样数据的规范化存储以及开发等等,核心观念如何统一数据资产以及工具研发体系的标准化。

img_871b16148d6dc54b910bbdb599b79af6.52大数据计算服务(MaxCompute)

快速、完全托管的TB/PB级数据仓库解决方案,向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。

了解更多

8

 

9

 

欢迎加入MaxCompute钉钉群讨论

42559c7dde62e4d333c90e02efdf416257a4be27

本文转载自:https://yq.aliyun.com/articles/62527

_夜枫
粉丝 10
博文 506
码字总数 0
作品 0
朝阳
后端工程师
私信 提问
2017熊猫财富之旅

2017熊猫财富之旅将于2017年10月12日至16日在上海举行, 此次峰会报名平台蟠桃会。 会议时间:2017年10月12日至16日 会议地点:上海—冲绳—上海 此次熊猫财富之旅为海上豪华包船盛会旨在天海...

蟠桃会会议平台
2017/08/17
7
0
2017熊猫财富之旅

2017熊猫财富之旅将于2017年10月12日至16日在上海举行, 此次峰会报名平台蟠桃会。 会议时间:2017年10月12日至16日 会议地点:上海—冲绳—上海 此次熊猫财富之旅为海上豪华包船盛会旨在天海...

蟠桃会会议平台
2017/08/17
3
0
敏捷之旅2012杭州站 Living Agile,即将拉开帷幕!

Agile is not only a way to work but also a way to think about life. Living agile makes life better. 敏捷是一种思维方式,她所追求的是如何将复杂的事情变得简单。如何真正理解敏捷,让...

炒蚕豆吃蹦豆
2012/10/17
171
1
禅道专业版 1.3 发布。暨敏捷之旅中国拉开帷幕!

禅道项目管理软件专业版1.3版本发布!该版本进一步完善批量导入功能、看板、工作日志和日历视图,论坛增加上传附件功能,修复了工作日志的Excel导出问题。 一、修复记录 实现Bug的Excel导入功...

炒蚕豆吃蹦豆
2012/11/06
3.1K
27
架构师面对面 | 阿里中间件Aliware 开启全国赋能之旅

转不转型,这已经不是一个问题。问题是以什么样的姿势去转型。 自8月初,阿里中间件Aliware面向全国伙伴举办了“阿里中间件Aliware分销合作伙伴招募大会” - 链接 和 “阿里中间件Aliware基础...

中间件小哥
2018/08/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

CentOS7.6中安装使用fcitx框架

内容目录 一、为什么要使用fcitx?二、安装fcitx框架三、安装搜狗输入法 一、为什么要使用fcitx? Gnome3桌面自带的输入法框架为ibus,而在使用ibus时会时不时出现卡顿无法输入的现象。 搜狗和...

技术训练营
昨天
5
0
《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
昨天
8
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
昨天
10
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
昨天
6
0
PHP+Ajax微信手机端九宫格抽奖实例

PHP+Ajax结合lottery.js制作的一款微信手机端九宫格抽奖实例,抽奖完成后有收货地址添加表单出现。支持可以设置中奖概率等。 奖品列表 <div class="lottery_list clearfix" id="lottery"> ......

ymkjs1990
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部