Last Week in Milvus

原创
2023/12/05 18:47
阅读数 10

What's New

Milvus 社区开通了 Discord 交流频道 https://discord.com/invite/8uyFbECzPX

Core Updates

#28720 #28803 #28692 #28470 Milvus社区正在对delete和compaction逻辑进行一系列优化,会像其他WAL架构的数据库一样,使用一层Level 0 segment存储删除记录,此优化后会使得整体的写入逻辑更清晰,compaction架构上更简洁,详细设计见 https://github.com/milvus-io/milvus/issues/27675

#28272 Bulk Insert支持Array类型,补齐了批量导入的能力

#28622 segment动态平衡策略中加入了growing segment行数,Milvus的segment分为growing和sealed两类,在此之前的平衡策略中,只考虑了sealed segment,对于导入数据过程中的collection绝大部分数据都是在growing segment中,会导致数据极度倾斜,加入growing segment行数后能大大缓解此问题。

#28319 为Milvus增加access log功能,运维用户可以通过access log做业务用户行为分析、故障分析等,详细的配置详见 https://github.com/milvus-io/milvus/issues/28086

#28608 Bulk insert支持导入parquet格式。parquet是数据、AI领域非常常见的格式,支持parquet后用户将Milvus和现有的数据系统集成会更容易。

#28878 很多用户反馈升级到2.3.x后在旧cpu机型上Milvus无法启动,经过排查发现是Milvus使用的依赖folly库编译参数导致,此PR修复了该问题

Knowhere

#219 在topk很大时,将hnsw索引查询退化成暴力搜索,以提升性能 #221 修复hnsw M==1时会crash的问题 #233 修复arm neon指令集下hamming距离计算问题 #238 为diskann索引支持mmap

Backup

#246 支持本地文件系统

Birdwatcher

#222 新增命令collection-meta-leaked,清理已经被删除的collection #220 支持删除不存在的key #224 为verify-segment命令增加fix参数,修复segment元数据

New Contributor

Welcome junjiejiangjjj

What's Up Next

发布2.3.4版本

Did you know

Milvus支持内存多副本功能,用于高可用、扩展性强的场景,具体的介绍详见 https://milvus.io/docs/replica.md

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部