Zilliz 合伙人、系统架构师郭人通出席GOTC 2021专题论坛,谈向量数据库的开发挑战

2021/07/16 11:00
阅读数 593
AI 正在引领人类的下一次工业革命,成为支撑数字经济的基本工具组件。

7月9-10日,由开放原子开源基金会与 Linux 基金会联合开源中国社区共同发起的首届“GOTC 全球开源技术峰会”在上海世博中心举行,Zilliz 合伙人、系统架构师郭人通受邀出席“AI、大数据与数字经济专题论坛”,与 LF AI & Data 基金会执行董事 Ibrahim Haddad、中兴通讯 AI 研发总工韩炳涛、英特尔 OpenVINO 边缘人工智能软件首席布道师 Raymond Lo 等同场共论开源的道与术。



AI 时代产生了大量非结构化数据,以非结构化数据为数据基础、AI 为计算手段的全新数据系统成为产业刚需,由 Zilliz 研发的开源向量数据库 Milvus 即是为了解决这一底层需求而生。

相对于数据库、AI 这两个发展颇久的领域,郭人通认为,面向 AI 的向量数据库领域还处于早期阶段,通用的基础软件系统陆续出现,目前正在朝着标准化阶段演进。



谈及向量数据库这一新兴交叉领域的工作,郭人通总结了 Milvus 团队感触最深的五大挑战:

一,要支撑系统的快速演进。对于新兴领域的系统软件,迭代速度决定生命力,因此需要一个足够开放、解耦的架构来避免快速演进过程中的复杂度失控。

二,确保不同部署环境下的系统表现。这由数据科学流程决定,关注验证速度和迭代速度的数据科学家和算法工程师主要通过笔记本或工作站使用系统,验证完毕就会在私有集群和云上进行部署。

三,硬件成本把控。向量数据和 AI 模型的内部都有大量的矩阵和向量运算,因此系统的弹性机制和资源调度机制对于成本影响很大。

四,多样化的负载特征。不同负载对于系统不同模块的压力区别非常大,为了有效适应不同负载,系统需要有组件级的弹性能力。

五,复杂的 Query。 随着用户查询场景的复杂化,除了向量引擎,系统还需要拥有 Kv 数据库、结构数据的谓词运算、文本查询等能力,因此需要一种灵活的协处理器机制,来保障其他类型的分析引擎和 Milvus 的向量引擎能够紧密协作。



身处上述挑战,围绕云原生优先、日志即数据、批流一体等理念设计的 MIlvus 2.0版本已于今年6月发布,详情请戳《Milvus 2.0 新版本一览:重新定义向量数据库》,欢迎使用与探讨~

Github @Milvus-io|CSDN @Zilliz Planet|Bilibili @Zilliz-Planet

Zilliz 以重新定义数据科学为愿景,致力于打造一家全球领先的开源技术创新公司,并通过开源和云原生解决方案为企业解锁非结构化数据的隐藏价值。  

Zilliz 构建了 Milvus 向量数据库,以加快下一代数据平台的发展。Milvus 目前是 LF AI & Data 基金会的毕业项目,能够管理大量非结构化数据集。我们的技术在新药发现、计算机视觉、推荐引擎、聊天机器人等方面具有广泛的应用。


文章转载自Zilliz点击这里阅读原文了解更多



Linux基金会诚意邀您参与:


联系关于Linux基金会




Linux基金会是非营利性组织,是技术生态系统的重要组成部分。 

Linux基金会通过提供财务和智力资源、基础设施、服务、活动以及培训来支持创建永续开源生态系统。在共享技术的创建中,Linux基金会及其项目通过共同努力形成了非凡成功的投资。请长按以下二维码进行关注。

本文分享自微信公众号 - LFAPAC(gh_8442c14fe49e)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部