关于hbase和phoenix开源框架的使用体会

原创
2016/11/15 15:01
阅读数 1.3K

我们的系统每天会产生60万条的数据需要存储,那么问题就来了,我们需要什么样的方式去存储这些数据。

      一开始的选择是mysql存储,建立日库,周库,月库等,但是时间久了数据越来越多,没有对数据进行统一的管理,表格对来越多,工作量越来越大。

      采用apache的大数据存储仓库hbase可以解决数据量比较大的问题。依照目前hbase存储能力来看,我们在hbase中存储了1000万的数据,hbase以键值对的查询速度并没有下降多少,相对来说速度还是比较快,但是有一个比较关键的问题需要解决,那就是hbase只是能做为数据存储的仓库,业务上需要用到这些数据进行分类展示,那么就需要根据条件从hbase中查询出所需要的数据,究竟怎么才能做到按照条件查询呢?

      有人认为hbase可以建立索引,根据索引去查询hbase中的数据,我们并没有采用这种办法。而是采用了能和hbase融合的phoenix开源框架,这个框架支持类似mysql的结构化查询语句,具体怎么做就不说了,可以去查看http://phoenix.apache.org/ ,这里我把使用的结果罗列出来。

     结果:

      phoenix可以支持各种结构化查询语句,并且我们的仓库已经存储了1000万的数据,但是其中有一个让人比较头疼的问题,在数据量达到千万级别的时候,结构化查询语句执行的速度比较慢,如果我根据条件查询一条数据需要近2分钟的时间,这对前端业务系统的性能产生了严重的影响,具体怎么解决后续再谈。

展开阅读全文
打赏
0
10 收藏
分享
加载中
每天60w就上hbase了啊
2016/12/01 16:40
回复
举报
有没有考虑直接用搜索引擎,用phoenix数据量大了查询效率会越来越感人
2016/11/28 21:04
回复
举报
清清浅浅博主

引用来自“pseudo”的评论

问下系统每天产生的数据是怎样存到hbase的?
网上很多教程,看下github.com
2016/11/16 15:44
回复
举报
清清浅浅博主

引用来自“寻梦2012”的评论

试试Kylin呢
正在搭建环境,不清楚你们那边使用的结果是什么
2016/11/16 15:43
回复
举报
试试Kylin呢
2016/11/15 18:17
回复
举报
问下系统每天产生的数据是怎样存到hbase的?
2016/11/15 17:14
回复
举报
更多评论
打赏
6 评论
10 收藏
0
分享
返回顶部
顶部