关 注 V e r t i c a
你的专属数据“冷”浪漫

... 活动已截止 请耐心等待获奖名单公布 ...
Vertica 七年使用总结
作者⎪ wzr404
编辑⎪Vertica 中国团队
因业务需要,已使用 Vertica 近7年。它是基于 X86 的 MPP 数据库,具有低成本、高效率分析的特点,能够满足低成本存储海量数据,并支持高速数据分析查询的要求。
随着业务的发展,Vertica 集群逐步壮大,2020年,MPP 数据主仓库节点已扩容至138台,成为行业内最大单集群节点。
一、Vertica 数据库的使用效果
通过持续建设和分布式数据库改造,解决了原来基于传统数据库、小型机和 SAN 存储传统架构无法支撑 PB 数量级数据仓库的性能和扩展能力不足的问题,目前已承载三大市场各个专业经营决策数据服务支撑。
采用 Vertica 数据库大幅提升系统性能、数据分析能力的同时实现降本增效。以用户表为例,传统数据库汇总分析用时1835秒;Vertica 汇总分析用时299秒。汇总分析用时降低降低1536秒,数据分析能力得到很大提升。
Vertica 数据库整体较传统数据库提前2个小时,集团考核上报、关键业务指标的及时性得到有效保障。
二、Vertica 数据库的优势
三、Vertica 数据库技术支持
Vertica 数据库拥有一支技术水平过硬、服务态度优良的支撑团队。Vertica 主库扩容工程中,技术团队积极参与方案制定,技术专家入驻现场,24小时现场支撑扩容工作。
在数据迁移、扩容过程中,Vertica 技术团队给予了我们非常有力的支撑和保障,集中展现出高度的敬业和专业精神,系统响应效率也得到提升。针对一些突发状况,团队曾连续多日奋战到凌晨,让我们十分感动,并给予高度的认可和好评。
四、相关使用经验及建议
1、传统数据库向 Vertica 迁移
面临的主要瓶颈集中在外部系统数据如何快速加载到 Vertica 库、Vertica 库如何实现对其他集群的数据快速下发这两个方面:
1)在 Vertica 数据库之间进行数据同步可采用数据库自带的 export to Vertica 或 copy from Vertica 功能直接进行数据同步,数据无需落地;
2)Vertica 与其它数据库之间进行数据同步,可采用并行导出 parquet 格式文件或文本文件 HDFS,再通过 HDFS 进行数据分发。可大幅节省数据同步时间。
2、Vertica 数据库恢复
数据库恢复时需要对每个节点的元数据进行比较,这个过程是比较耗时的,降低数据库 catalog 日志大小和表模型分区,合理使用分区表和临时表,可减少数据库节点故障时的数据恢复时间。
3、Vertica 新一代架构(Eon)探索
从目前的使用经验来看,Eon 架构可实现节点快速扩容、故障节点快速恢复,在增加子集群的情况下,可增加并发能力,同时子集群之间的计算资源完全隔离,数据集中存储在公共存储中,可快速实现数据共享,无需进行数据同步。
4、Vertica 缺乏成熟的外围适配开发工具
当前选型 razorsql 作为 Vertica 的开发工具,且已经纳入 4A 安全管控,但在金库模式触发、程序运行调试等方面与 PLSQL 仍然存在差距,需进一步提升开发工具的便捷性。
猛戳「阅读原文」Vertica 免费版等着你!

本文分享自微信公众号 - 墨天轮(enmocs)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。