文档章节

我与开源的那些事-漫谈敏捷BI平台之BIPlatform的基础架构(-)

d
 david_yuxue
发布于 2015/04/25 18:36
字数 632
阅读 2703
收藏 2
点赞 3
评论 3

我们来自百度商业运营产品体系Data Team,通过研发数据类平台、工具和数据产品,帮助商业用户洞察业务运营状况、提高管理效能、辅助决策支持。而过去我们的分析型系统主要存在以下几个问题:

  1. 数据计算处理速度存在瓶颈:动态数据计算能力有限,当分析场景较复杂,交叉维度过多的情况下,报表的性能急剧下降,以售中报表系统为例,带有下钻功能的一个报表,平均响应时间在10s+,长期以来报表速度问题广受业务部门诟病。

  2. 报表功能单一,数据分析能力弱:受底层数据限制,无法进行多维度自助交叉的组合分析,而越来越多的主题分析、诊断分析,有维度交叉、钻取、转换等典型多维分析场景的诉求。

  3. 展现能力有限,图形计算分析能力尤其不足:不具备专业图形计算引擎,导致很多数据依靠表格来展现,但表格的展现能力远不及图形。成分、对比、趋势、分布、相关等关系,很难直观发现。

  4. 需求响应速度慢,开发效率低下:互联网业务变化频繁,有时,一个需求还没上线,业务就已经发生了变化。而对于报表新增指标、调整维度等基本需求的更新升级,更是非常频繁。但每次都经历开发、测试、上线流程,周期长,响应速度慢。由于这类原因,业务部门有时甚至不愿意提报表需求,从而导致报表配合业务运营的作用也大打折。

随着数据的积累,需求的不断变化,如何打造一个能够快速实现需求转化、高效的数据分析、展示平台,对我们来说,是一个机遇、也是一个挑战。

经过无数次的论证、调研、对比学习,我们提出了基于问题模型理论、基于Lucene高效文档检索技术的可视化敏捷BI平台-BIPlatform(技术变更以及基础架构如下):

(未完待续)

© 著作权归作者所有

共有 人打赏支持
d
粉丝 66
博文 11
码字总数 4987
作品 1
海淀
加载中

评论(3)

起床特困户
想请教一下OLAP用的是哪个产品?是否支持多数据源联合查询? Oracle+Mysql+Excel等任意关联
d
david_yuxue
问题模型即查询语义描述,描述你要查询的数据维度、指标、分组信息等
1
190526
请问什么是问题模型理论?
BIPlatform 部署运行

[WARNING] The POM for com.baidu.rigel.biplatform:tesseract:jar:1.7.0-RELEASE is missing, no dependency information available [INFO] ---------------------------------------------......

yyds2006 ⋅ 01/19 ⋅ 0

我与开源的那些事-漫谈敏捷BI平台 BiPlatform-开篇

2014年10月31日是一个令人兴奋的日子,经过小伙伴们近半年的准备、奋战,凝聚了一线开发人员无数心血的新一代敏捷BI平台-BIPlatform终于落户github(https://github.com/Baidu-ecom/bi-platf...

david_yuxue ⋅ 2015/04/18 ⋅ 3

百度BI平台--BiPlatform

百度开源的新一代一站式敏捷bi平台,提供报表和OLAP服务的敏捷BI平台 百度开源,业内领先的Holap敏捷BI分析平台,提供高性能、准实时、可扩展的、一站式的BI建模、分析平台。 如何快速构建B...

david_yuxue ⋅ 2015/04/19 ⋅ 5

Kyligence发布最新旗舰产品KAP 2.1,为Apache Kylin企业用户提供更快更强的大数据分析能力

据悉,领先的智能大数据分析技术及解决方案供应商上海跬智信息技术有限公司(Kyligence)今日宣布正式发布企业级产品KyligenceAnalytics Platform (KAP) 2.1版本。KAP2.1在既有基础上进行了一...

kyligence ⋅ 2016/11/14 ⋅ 1

Biplatform初次使用时注册的用户保存问题

@davidyuxue 你好, 这段时间在关注你们开源的BI产品-biplatform, 也在偿试分析和摸索应用。现在使用的过程中有一个疑问想向你请教: 就是在布署好环境后,初次使用designer时,需要注册一个...

Welkman ⋅ 2015/05/25 ⋅ 3

install tesseract时出现错误

@davidyuxue 你好,想跟你请教个问题: install tesseract时出现错误: [INFO] Scanning for projects... [WARNING] [WARNING] Some problems were encountered while building the effectiv......

SDUcolor ⋅ 2016/04/19 ⋅ 0

Apache Kylin 首批入驻微软 Azure 镜像市场

2016年9月21日,微软企业技术决策论坛在北京召开。在该论坛上,微软和世纪互联宣布在中国推出认知服务和 Azure 镜像市场,为中国Azure客户和软件开发商搭建起了一站式门户,方便中国Azure客户...

宣屹 ⋅ 2016/09/21 ⋅ 3

基于DotNet构件技术的企业级敏捷软件开发平台 - AgileEAS.NET - 文章汇总及学习指南

一、AgileEAS.NET平台简介 AgileEAS.NET平台是一套应用系统快速开发平台,用于帮助中小软件开发商快速构建自己的企业信息管理类开发团队,以达到节省开发成本、缩短开发时间,快速适应市场变...

agilelab ⋅ 2011/07/05 ⋅ 0

有关BIPlatform问题,望解答

最近研究了一下BIPlatform,感觉整体的设计思路不错,可以简化不少BI系统搭建工作,有一些优化建议: 1、图表的展现可以更美观一下,比如引入百度自己开源的echarts工具 2、图表的类别有点少...

husthaiou ⋅ 2015/08/13 ⋅ 1

聊聊架构_Index

架构漫谈 【读后有感】架构漫谈(一):什么是架构? 【读后有感】架构漫谈(二):认识概念是理解架构的基础 【读后有感】架构漫谈(三):如何做好架构之识别问题 【读后有感】架构漫谈(四...

陶邦仁 ⋅ 2016/02/19 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Cube、Cuboid 和 Cube Segment

1.Cube (或Data Cube),即数据立方体,是一种常用于数据分析与索引的技术;它可以对原始数据建立多维度索引。通过 Cube 对数据进行分析,可以大大加快数据的查询效率 2.Cuboid 在 Kylin 中特...

无精疯 ⋅ 32分钟前 ⋅ 0

github太慢

1:用浏览器访问 IPAddress.com or http://tool.chinaz.com 使用 IP Lookup 工具获得github.com和github.global.ssl.fastly.net域名的ip地址 2:/etc/hosts文件中添加如下格式(IP最好自己查一...

whoisliang ⋅ 34分钟前 ⋅ 0

非阻塞同步之 CAS

为解决线程安全问题,互斥同步相当于以时间换空间。多线程情况下,只有一个线程可以访问同步代码。这种同步也叫阻塞同步(Blocking Synchronization). 这种同步属于一种悲观并发策略。认为只...

长安一梦 ⋅ 45分钟前 ⋅ 0

云计算的选择悖论如何对待?

人们都希望在工作和生活中有所选择。但心理学家的调查研究表明,在多种选项中进行选择并不一定会使人们更快乐,甚至不会产生更好的决策。心理学家Barry Schwartz称之为“选择悖论”。云计算为...

linux-tao ⋅ 47分钟前 ⋅ 0

我的第一篇个人博客

虽然这是个技术博客,但是,我总是想写一些自己的东西,所有就大胆的在这里写下了第一篇非技术博客。技术博客也很久没有更新,个人原因。 以后自己打算在这里写一些非技术博客,可能个人观点...

Mrs_CoCo ⋅ 48分钟前 ⋅ 0

Redis 注册为 Windows 服务

Redis 注册为 Windows 服务 redis 注册为 windows 服务相关命令 注册服务 redis-server.exe –service-install redis.windows.conf 删除服务 redis-server –service-uninstall 启动服务 re......

Os_yxguang ⋅ 48分钟前 ⋅ 0

世界那么大,语言那么多,为什么选择Micropython,它的优势在哪?

最近国内MicroPython风靡程序界,是什么原因导致它这么火呢?是因为他功能强大,遵循Mit协议开源么? 错!因为使用它真的是太舒服了!!! Micropython的由来,这得益于Damien George这位伟大...

bodasisiter ⋅ 52分钟前 ⋅ 0

docker 清理总结

杀死所有正在运行的容器 docker kill $(docker ps -a -q) 删除所有已经停止的容器(docker rm没有加-f参数,运行中的容器不会删掉) docker rm $(docker ps -a -q) 删除所有未打 dangling 标...

vvx1024 ⋅ 今天 ⋅ 0

关于学习

以前学车的时候,教练说了这样的一句话:如果一个人坐在车上一直学,一直学,反而不如大家轮流着学。因为一个人一直学,就没有给自己留空间来反思和改进。而轮流着学的时候大家下来之后思考上...

mskk ⋅ 今天 ⋅ 0

压缩工具之gzip-bzip2-xz

win下常见压缩工具:rar zip 7z linux下常见压缩工具:zip gz bz2 xz tar.gz tar.bz2 tar.xz gzip 不支持目录压缩 gzip 1.txt #压缩。执行后1.txt消失,生成1.txt.gz压缩文件 gzip -d 1.txt....

ZHENG-JY ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部