Vertica 七年使用总结 ⎮ Vertica 体验赛四轮优秀文章悬念落定!

2022/01/06 18:00
阅读数 32

关 注 V e r t i c a



你的专属数据“冷”浪漫

... 活动已截止 请耐心等待获奖名单公布 ...






/ Vertica 体验赛优秀征文 · No.4 /

Vertica 七年使用总结

作者⎪ wzr404

编辑⎪Vertica 中国团队



因业务需要,已使用 Vertica 近7年。它是基于 X86 的 MPP 数据库,具有低成本、高效率分析的特点,能够满足低成本存储海量数据,并支持高速数据分析查询的要求。


随着业务的发展,Vertica 集群逐步壮大,2020年,MPP 数据主仓库节点已扩容至138台,成为行业内最大单集群节点



一、Vertica 数据库的使用效果


通过持续建设和分布式数据库改造,解决了原来基于传统数据库、小型机和 SAN 存储传统架构无法支撑 PB 数量级数据仓库的性能和扩展能力不足的问题,目前已承载三大市场各个专业经营决策数据服务支撑


采用 Vertica 数据库大幅提升系统性能、数据分析能力的同时实现降本增效。以用户表为例,传统数据库汇总分析用时1835秒;Vertica 汇总分析用时299秒。汇总分析用时降低降低1536秒,数据分析能力得到很大提升。


Vertica 数据库整体较传统数据库提前2个小时,集团考核上报、关键业务指标的及时性得到有效保障



二、Vertica 数据库的优势


列式存储和计算

通过列式计算和强大的主动数据压缩,大幅降低成本高昂的磁盘 I/O(主要是传统的以行为存储单位的 SQL 数据库使用),执行查询的速度可提升 50 到 1000 倍,存储成本最高削减 90%。

无共享大规模并行处理

基于无共享的 MPP 架构,支持在线添加数量不限的 X86 工业标准服务器,可根据需求任意扩展解决方案。

分钟级故障节点修复、弹性扩展和高并发弹性负载

可选的 MPP 结合存储和计算分离部署架构,支持分钟级在线扩展或收缩集群规模,通过“子集群”隔离负载提供高并发、高吞吐的弹性负载和多租户支持能力。

实时分析

支持主流的 CDC 工具,原生支持 Kafka 消息系统的连接,支持数据实时装载和分析。

完整的关系数据库功能和 SQL 标准支持

Vertica 支持关系数据库事务处理和 ACID 规范,支持 SQL-92/SQL-99 标准,提供 ODBC、JDBC、ADO.NET 接口规范驱动。

基础设施透明的开放统一分析平台

原生支持与 Hadoop、Spark 和 Kafka 等开放生态无缝集成,支持 X86 开放架构企业内部、主流公有云和 VMware 虚拟化平台和主流 Hadoop 发行版本部署,采用统一的 SQL 引擎分析高性能、就地分析 Vertica 和其他开放格式数据。



三、Vertica 数据库技术支持


Vertica 数据库拥有一支技术水平过硬、服务态度优良的支撑团队。Vertica 主库扩容工程中,技术团队积极参与方案制定,技术专家入驻现场,24小时现场支撑扩容工作。


在数据迁移、扩容过程中,Vertica 技术团队给予了我们非常有力的支撑和保障,集中展现出高度的敬业和专业精神,系统响应效率也得到提升。针对一些突发状况,团队曾连续多日奋战到凌晨,让我们十分感动,并给予高度的认可和好评。



四、相关使用经验及建议


1、传统数据库向 Vertica 迁移

面临的主要瓶颈集中在外部系统数据如何快速加载到 Vertica 库Vertica 库如何实现对其他集群的数据快速下发这两个方面:


1)在 Vertica 数据库之间进行数据同步可采用数据库自带的 export to Vertica 或 copy from Vertica 功能直接进行数据同步,数据无需落地;

2)Vertica 与其它数据库之间进行数据同步,可采用并行导出 parquet 格式文件或文本文件 HDFS,再通过 HDFS 进行数据分发。可大幅节省数据同步时间。


2、Vertica 数据库恢复

数据库恢复时需要对每个节点的元数据进行比较,这个过程是比较耗时的,降低数据库 catalog 日志大小和表模型分区,合理使用分区表和临时表,可减少数据库节点故障时的数据恢复时间。


3、Vertica 新一代架构(Eon)探索

从目前的使用经验来看,Eon 架构可实现节点快速扩容、故障节点快速恢复,在增加子集群的情况下,可增加并发能力,同时子集群之间的计算资源完全隔离,数据集中存储在公共存储中,可快速实现数据共享,无需进行数据同步。


4、Vertica 缺乏成熟的外围适配开发工具

当前选型 razorsql 作为 Vertica 的开发工具,且已经纳入 4A 安全管控,但在金库模式触发、程序运行调试等方面与 PLSQL 仍然存在差距,需进一步提升开发工具的便捷性。


猛戳「阅读原文」Vertica 免费版等着你!

本文分享自微信公众号 - 墨天轮(enmocs)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
0
分享
返回顶部
顶部