Last Week in Milvus

原创
2023/07/10 18:42
阅读数 55
AI总结

What's New

Zilliz Cloud 将于明日上线,届时国内使用阿里云的用户,可以前去试用。PaaS 版本的 Milvus 也会在近期上线。

Core Updates

#24516 从 2.3.0 及 2.2.11 开始,Milvus支持默认 search 参数

#24839 用户可以通过配置指定 querynode 的任务调度类型,默认情况下使用fifo策略调度任务,用户可以通过修改配置 querynode.scheduleReadPolicy.name 切换调度策略。目前支持 fifo 和 user-task-polling 两种,fifo是先进先出队列,user-task-polling 会先按照用户名分组再在组内按照队列执行,在多用户、多租户场景中使用 user-task-polling 策略对用户更加友好。

#25212 加载数据改为小批加载。不少用户在生产环境中遇到Milvus加载数据时需要很大额外的内存开销,甚至是需要加载数据的 3倍。经过不断地优化,先是减少内存中数据的序列化、反序列化,再引入mmap支持磁盘作为临时内存,这次优化彻底将内存优化完成,只需MB级别的额外内存就可以将数据加载完毕,极大的减少了资源开销。

#25389 支持 varchar 作为主键时,使用主键索引。优化后在 varchar 作为主键的场景中,性能有10x的提升。

Knowhere

#953 优化device manager使用,在有多个线程访问 GPU 的场景中,能够显著降低内存使用,提升效率。

Birwatcher

#163 增加remove segment-orphan命令,用于清理collection已经被drop的segment,回收存储空间。

New contributor

Welcome charlspjohn

Good First Issue

https://github.com/milvus-io/milvus/issues/25430 为Go版本的chunk manager增加mmap支持,减少内存copy

https://github.com/milvus-io/milvus/issues/25162 为JSON array增加交集、并集、差集函数

What's Up Next

2.2.12 预计会在本周发布。

Did you know

这有一篇详细介绍 HNSW 算法的文章,对索引算法感兴趣的同学可以参考。

https://zilliz.com/blog/hierarchical-navigable-small-worlds-HNSW

🌟全托管 Milvus SaaS/PaaS 即将上线,由 Zilliz 原厂打造!覆盖阿里云、百度智能云、腾讯云、金山云。目前已支持申请试用,企业用户 PoC 申请或其他商务合作请联系 business@zilliz.com。


  • 如果在使用 Milvus 或 Zilliz 产品有任何问题,可添加小助手微信 “zilliz-tech” 加入交流群。

  • 欢迎关注微信公众号“Zilliz”,了解最新资讯。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
0
分享
AI总结
返回顶部
顶部