我与开源的那些事-漫谈敏捷BI平台之BIPlatform的基础架构(-)
我与开源的那些事-漫谈敏捷BI平台之BIPlatform的基础架构(-)
david_yuxue 发表于2年前
我与开源的那些事-漫谈敏捷BI平台之BIPlatform的基础架构(-)
  • 发表于 2年前
  • 阅读 2298
  • 收藏 2
  • 点赞 3
  • 评论 3

腾讯云 十分钟定制你的第一个小程序>>>   

摘要: 本文主要讲述BIPlatform的来源、基础技术架构。未经允许,请勿擅自转载本本,如转载,请注明出处。

我们来自百度商业运营产品体系Data Team,通过研发数据类平台、工具和数据产品,帮助商业用户洞察业务运营状况、提高管理效能、辅助决策支持。而过去我们的分析型系统主要存在以下几个问题:

  1. 数据计算处理速度存在瓶颈:动态数据计算能力有限,当分析场景较复杂,交叉维度过多的情况下,报表的性能急剧下降,以售中报表系统为例,带有下钻功能的一个报表,平均响应时间在10s+,长期以来报表速度问题广受业务部门诟病。

  2. 报表功能单一,数据分析能力弱:受底层数据限制,无法进行多维度自助交叉的组合分析,而越来越多的主题分析、诊断分析,有维度交叉、钻取、转换等典型多维分析场景的诉求。

  3. 展现能力有限,图形计算分析能力尤其不足:不具备专业图形计算引擎,导致很多数据依靠表格来展现,但表格的展现能力远不及图形。成分、对比、趋势、分布、相关等关系,很难直观发现。

  4. 需求响应速度慢,开发效率低下:互联网业务变化频繁,有时,一个需求还没上线,业务就已经发生了变化。而对于报表新增指标、调整维度等基本需求的更新升级,更是非常频繁。但每次都经历开发、测试、上线流程,周期长,响应速度慢。由于这类原因,业务部门有时甚至不愿意提报表需求,从而导致报表配合业务运营的作用也大打折。

随着数据的积累,需求的不断变化,如何打造一个能够快速实现需求转化、高效的数据分析、展示平台,对我们来说,是一个机遇、也是一个挑战。

经过无数次的论证、调研、对比学习,我们提出了基于问题模型理论、基于Lucene高效文档检索技术的可视化敏捷BI平台-BIPlatform(技术变更以及基础架构如下):

(未完待续)

共有 人打赏支持
粉丝 60
博文 11
码字总数 4987
作品 1
评论 (3)
190526
请问什么是问题模型理论?
david_yuxue
问题模型即查询语义描述,描述你要查询的数据维度、指标、分组信息等
起床特困户
想请教一下OLAP用的是哪个产品?是否支持多数据源联合查询? Oracle+Mysql+Excel等任意关联
×
david_yuxue
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: