9 月 5 日,2024 腾讯全球数字生态大会在深圳国际会展中心举行,为期两天。大会以“智启新机 云驱增长” 为主题,汇聚多位行业领军人物及企业专家,以“增长”为主线,前沿探索为基石,行业最佳实践为新杆,聚焦数字化下的产业新增长,共话企业融合创新发展新路径。
在首日的主峰会上,腾讯集团高级执行副总裁、云与智慧产业事业群 CEO 汤道生表示,当下很多企业面临内外部多重挑战,甚至是“内卷式竞争”,如果蛋糕不增长,结果就是“零和”游戏。企业增长的核心在于跳出框架,探索产业的新发展。
为助力产业转型升级,本次大会上腾讯云首次公布了完整的全栈融合创新产品体系,在基础软件领域,囊括腾讯云数据库 TDSQL 、操作系统 TencentOS 、专有云 TCE 、大数据 TBDS 、人工智能开发平台 TI 等核心产品(简称“ 5T ”),现已全面兼容国内主流的芯片厂商,在多个大规模的集群上稳定运行,落地覆盖金融、交通、政务、互联网、医疗、传媒等多个行业,积累了丰富的融合实践经验。
其中,TDSQL 作为国产化数据库的杰出代表,已在腾讯内部支撑了 90% 的核心金融、计费和交易业务,外部则服务于中国十大银行中的七家,助力 30 多家金融机构进行核心系统替换,并在金融整体市场和银行细分市场斩获“双料”第一!
而今,数据已然成为企业最珍贵的资产之一,每一个数据点都可能是开启巨大价值的关键钥匙。那么今天就随开源中国的脚步,云探展【数据库技术与实践专场】,看全栈自研的国产数据库如何助力企业数智化转型。
TDSQL :开启全栈技术支撑新时代
回顾中国数据库技术的发展历程,我们大可看作是一个从无到有、从追随到领先的壮丽诗篇。借用最近大火的西游话题,腾讯的数据库团队就像“悟空”一样,靠着坚定的信念和灵活的策略,从早期的摸索与借鉴,一路闯荡到如今的技术创新和市场扩展。
随着信息化的不断推进,数据呈现爆炸式增长,且不同场景下所生产的数据也各不相同,基于此,在 9 月 6 日的【数据库技术与实践专场】上,腾讯云数据库研发总经理潘安群给出了腾讯云数据库的精妙解法:单一引擎极致化、多引擎智能融合一体化,以及完整的服务交付。
在实现单一引擎的极致化过程中,腾讯云自研的企业级分布式数据库 TDSQL 已全面兼容 MySQL 、PostgreSQL 语法,高度兼容 Oracle 语法,并采用 HTAP 引擎,既能满足高并发、高实时、强一致性的数据处理需求,又能实时完成复杂数据分析及海量数据聚合。同时,提供智能 DBA 、自动化运营、监控告警等配套设施,为用户提供完整的企业级分布式数据库解决方案。
为了尽可能满足每一个应用场景,TDSQL 还配有一整套 SaaS 工具,包括:数据传输服务 DTS-DBbridge 、 数据库审计、DBbrain 、数据库管理平台、数据库专家服务等,帮助用户实现高效的数据管理与运营。值得一提的是,在数据迁移和跨域方面,数据传输服务 DTS-DBbridge 可以在用户业务不停服的前提下轻松完成数据库迁移上云,还支持对同步后的数据结果进行在线比对,帮助用户进行数据验证,为数据库升级和迁移提供了极大的便利。
但业务场景终究是无法穷举的,单一数据库“吃遍天”的时代已经过去,为满足不同业务场景对于数据库的需求,腾讯云针对不同的业务场景还提供了多种解决方案,以实现多引擎开花、智能化融合的发展格局。其中就包括适用于云原生的 TDSQL-C ,以及专为敏态业务打造的 TDStore。
潘安群表示,TDSQL-C 凭借全链路 RDMA 网络以及国内首个 Serverless 架构,对 AI + Serverless 新范式展开探索,打造 AI4DB 服务。通过引入 AI 技术,新一代云原生数据库 TDSQL-C 将实现智能资源管理和优化,自动调整数据库的配置以适应不同的工作负载,整体提高数据库的性能和效率。同时,TDSQL-C 还是国内首个运用 Serverless 架构的数据库,可以根据负载需求无感扩展,不到 1 秒即可从数百个事务扩展到百万级事务,降低请求延迟高达 80% ,非常适用于诸如电商大促这样的应用场景。
而针对“敏态业务”打造的新一代分布式数据库引擎 TDStore ,则完美解决敏态业务发展过程中的不可预知性,可提供单日交易量超 100 亿次的超强处理能力与 EB 级别海量存储 ,可以有效应对业务的变化。最关键的是,独有的数据形态自动感知特性,可以使数据能够根据业务情况自动进行分裂迁移,降低分布式事务,从而获得极致的性能。
随着 AGI 时代的到来,向量数据库也发挥着越来越关键的作用。潘安群介绍,自去年 7 月正式发布向量数据库时,最高支持 10 亿级向量检索规模,仅 5 个月后,检索规模就提升至千亿级别,现已服务包括世博、销售易、搜狐、链家等在内的超过 1000 家外部客户,是国内首家通过信通院向量数据库标准评估的数据库。
在经历了腾讯内部千亿级请求及 3000+ 客户接入后,如今的腾讯云向量数据库正朝着“全托管”的方向发展,不仅可以通过智能化排序实现端到端的数据接入体验,更集成了 embedding 功能,让用户无需关注向量生成过程,就能实现快速处理数据,真正做到“开箱即用”。
潘安群还表示,未来将基于混元大模型的数据库专家,为用户提供数据库一站式服务,打造更完善的全栈技术支撑,为用户的业务发展提供坚实的技术保障。
积极推动全栈自研,助力企业数智化转型
2022 年 9 月的“国资发 79 号文件”明确要求 2027 年底前,全部国央企必须完成信息化系统的改造工作,这一政策对数据库融合创新提出了明确要求,同时也加快了 TDSQL 全栈国产的进程。
腾讯云数据库技术专家邢孟棒介绍,经过对于全栈国产的不断探索,目前 TDSQL 已全面兼容包括操作系统、 CPU 芯片、服务器,以及中间件在内的全体系国产软硬件,通过深度优化,实现了硬件与软件的无缝集成和高效协同,为企业提供一站式的国产化数据库解决方案。
数据处理能力有多强,一定程度上决定了业务发展天花板有多高。在软硬件全栈深度优化的过程中,TDSQL 针对不同的业务特征,其内核在列压缩、并行查询、大事务复制、binlog 组提交锁等方面均有明显提升:
- 列压缩:针对大字段有 4 倍以上压缩比,能显著节约内存和磁盘空间;
- 并行查询:利用并行查询能力,调用多核计算资源,大幅缩短大查询响应时间;
- 大事务复制: updata 场景复制时间减少 85 %,insert 场景减少约 30 %;
- binlog 组提交锁:全局锁改局部锁,高并发写入性能提升 19 %。
除此之外,TDSQL 还与腾讯自研操作系统 TencentOS 进行了深度优化和适配,在性能、稳定性和安全性等方面得到进一步提升。邢孟棒表示:“为了进一步提升 TDSQL 的性能 ,TencentOS 操作系统引入了 16k 原子写功能,消除了 double write 的格外开销,以降低磁盘写入的频次。”
目前,腾讯云数据库 TDSQL 在实现全栈国产化之后,在同等的使用场景和测试条件下,其性能表现与基于通用 x86 架构的系统性能基本对齐。在国产 ARM 平台上,经过优化后的 TDSQL 性能提升约为 57 %,而在国产的 x86 平台上的提升更是显著,约为 135%,实现了国产 ARM/x86 双栈平稳运行。
邢孟棒表示,未来 TDSQL 还将在编译优化上进一步优化,在国产 ARM 平台上添加 BOLT 支持,使 TDSQL 能够更好地与国产 ARM 处理器进行适配,充分发挥国产硬件的性能优势。在生态共建方向上,也将进一步加强与硬件厂商合作,持续适配新的硬件产品并推动相关功能落地。
随着数据库全栈国产的发展,越来越多的企业开始了对于“中国数据库”的探索与合作,就在今年的腾讯全球数字生态大会上,腾讯云与浪潮信息联合推出了一站式企业级数据库解决方案——元脑 TDSQL 数据库一体机。
元脑 TDSQL 数据库一体机融合了算力、网络平台以及分布式关系型数据库 TDSQL 于一体,可提供单节点数十万 QPS 、单实例千万 QPS 流量的超高数据处理性能,具备 99.999% 以上的“金融级”高可用性,能够帮助商业公司快速完成数据库基础设施的部署。
同时,由于元脑 TDSQL 数据库一体机在硬件和软件上都针对数据库管理进行了优化,组件之间高度集成,这使得一体机可以实现更高的吞吐,以及更低的响应时延;此外,分布式数据库一体机还提供直观的管理界面和智能化的监控工具,使管理员能够轻松对数据进行维护,大大降低了企业的管理成本和技术门槛,提高了数据库的运维效率。
元脑 TDSQL 数据库一体机的出现,无疑对数据库国产化带来了新的机遇与方向,同时也促进了国内数据库产业生态的发展。从硬件制造商到软件开发商,从系统集成商到服务提供商,一起为打造更加完善的国产化数据库而努力。
拥抱开源 腾讯云捐赠 TXSQL 数据库内核
在数据库技术与实践专场上,腾讯云数据库研发总经理潘安群还宣布——腾讯云向开放原子开源基金会 OpenTenBase 社区捐赠腾讯数据库 TXSQL 内核,并通过开源共创的方式,与上下游产业链及开发者共同打造数据库开源生态。
腾讯云数据库研发总经理潘安群(左)和开放原子开源基金会秘书长助理兼运营部部长李博(右)
作为开源的坚定推进者和建设者,腾讯在过去几年先后向开放原子开源基金会捐赠了操作系统、数据库、编译器等基础软件。此次向 OpenTenBase 社区捐赠腾讯数据库 TXSQL 内核,是腾讯在开源领域的再次深耕。
TXSQL 是腾讯云数据库团队自研的 MySQL 内核分支,可 100% 兼容原生 MySQL 版本,提供了诸如透明数据加密、审计、备份恢复、强同步等功能。区别于 MySQL ,TXSQL 不仅在 InnoDB 存储引擎、查询优化、复制性能等方面进行了大量优化,还提供企业级的容灾、恢复、监控、读写分离等诸多高级特性。
本次捐赠完成后,OpenTenBase 社区将成为开放原子开源基金会首个 100% 兼容 MySQL 和 PostgreSQL 生态的开源项目。开放原子开源基金会秘书长助理兼运营部部长李博表示:“OpenTenBase 社区是基金会最重要的开源社区之一,腾讯云的积极贡献让社区的影响力进一步扩大,吸引更多的生态伙伴和技术人才投入到开源建设中。”
今年 5 月份,OpenTenBase 社区委员会宣布成立,首批有 13 家共创单位加入社区,而在本次数据库专场又有 6 家共建单位正式加入社区,他们分别是浪潮信息、微众银行、XSKY 星辰天合、泰康在线、云猿生数据、白鲸开源。(排名不分先后)
截至目前,腾讯云已是 MariaDB 、Linux 等多个开源基金会的重要成员,并积极布局国内根社区建设打造了 OpenTenBase 开源社区,还联合开放原子开源基金会、中国计算机学会以及北京大学、中国人民大学等高校建立了健全的人才培养机制。
腾讯云数据库产品总监王云龙在会上表示,未来腾讯云数据库将持续推动技术创新,积极联合实验室,通过开源的方式促进生态伙伴与腾讯数据库进行合作,共同开展项目和应用的开发,推动技术的应用和市场的拓展。