新老用户看过来~最实用的 Milvus 迁移手册来啦!

原创
2023/09/19 18:00
阅读数 171
AI总结


毫无疑问,Milvus 已经成为全球诸多用户构建生产环境时必不可少的向量数据库。


近期,Milvus 发布了全新升级的 Milvus 2.3 版本,内核引擎加速的同时也加入了诸如支持 GPU 这样实用且强大的特性。可以说,以 Milvus 2.3 为代表的 Milvus 2.x 版本无论在功能还是性能上都远超 Milvus 1.x 版本。因此,有很多新老用户反馈,想要将存量向量数据从其他数据源迁移到 Milvus2.x 中,为了解决这一需求,Milvus-migration 项目应运而生。


读完本文,用户可以快速掌握 Milvus-migration 的功能特点和使用方法。(小声打个广告:Zilliz 云平台提供了更方便的一键迁移功


01.

功能概述


目前迁移支持的数据源有:


  • Milvus 1.x 到 Milvus 2.x 迁移

  • Elasticsearch 到 Milvus 2.x 数据迁移

  • Faiss 到 Milvus 2.x 数据迁移 (Beta版本)

  • 支持包括命令行和 Restful API 的多种交互方式

  • 支持多种文件形式的迁移 (本地文件、S3、OSS、GCP)

  • 支持 Elasticsearch 7.x 以上版本、自定义迁移字段构造表结构


02.

设计思路


  • 总体架构


  • 编程语言


Milvus-migration 使用 go 语言实现.


  • 交互方式


  • 命令行


命令行是最简便直接的使用方式,Milvus-migration 基于 cobra 框架实现了命令行。


  • Restful Api


Milvus-migration 还提供 Restful API,便于工具服务化,并提供 Swagger UI。


  • Go module


Milvus-migration 还可以作为 go module,集成到其他工具之中。


  • 实现原理


对于迁移 Milvus 1.x 和 Faiss 数据,主要会对原始数据文件内容进行解析,编辑转换成 Milvus 2.x 对应的数据存储格式,然后通过调用 Milvus sdk 的 bulkInsert 将数据写入,整个数据解析转换过程为流式处理,处理的数据文件大小理论上只受磁盘空间大小限制。数据文件支持存放在 Local File、 S3、OSS、GCP 和 Minio。


对于迁移 Elasticsearch 数据,不同之处数据获取不是从文件,而是通过 ES 提供的 scroll api 能力 将 ES 数据依次遍历获取,从而解析转成 Milvus 2.x 存储格式文件,同样是调用 bulkInsert 将数据写入。除了对存储在 ES dense_vector 类型的向量进行迁移,也支持 ES 其他字段的迁移,目前支持的其他字段类型有:long、integer、short、boolean、keyword、text、double。


  • 接口定义


/start - 开启一个迁移 job(相当于 dump 和 load 的结合,目前只支持 ES 迁移)

/dump - 开启一个迁移 dump job (将source数据 写入到 target 所在的存储介质中)

/load - 开启一个迁移 load job(将写入 target 存储介质的数据 写入到 Milvus2.x)

/get_job - 查看 job 运行结果

  

详情可参考 https://github.com/zilliztech/milvus-migration/blob/main/server/server.go


03.

功能演示


下面使用项目中的例子来讲解 Milvus-migration 的使用方法。示例可在项目 README.md 中找到。


  • Elasticsearch -> Milvus 2.x

1. 准备 ES 数据


要迁移 ES 数据,前提假设您已经拥有属于自己的 es Server(自建、ElasticCloud、阿里云 ES 等),向量数据存储在 dense_vector,以及其他字段在 index 中,index mapping 形式如:



2. 编译打包


首先下载迁移项目源码:https://github.com/zilliztech/milvus-migration

 

执行:   go get & go build,编译完成会在当前路径下产生可执行文件:  milvus-migration。


3. 配置 migration.ymal config

开始迁移之前, 还需要准备迁移配置文件:包含数据的 source、target 数据等信息,内容示例如下:


dumper:
  worker:
    workMode: elasticsearch        ------ 工作模式:elasticsearch
    reader:
      bufferSize: 2500             --------- 从es每次批量获取的数量
meta:
  mode: config                     -------- 固定写法,其他数据源迁移会有其他不同值  
  index: test_index                -------- es index
  fields:                          -------- 需要同步的es字段有哪些:    
    - name: id                     -------- es 字段名
      pk: true                     -------- pk=true,表示这个字段作为milvus的主键, 没设置情况下默认会采用es document _id作为主键          
      type: long
    - name: other_field
      maxLen: 60                   ------- 对应milvus VarChar字段类型的maxLen, 对于varchar类型不设置maxLen则默认最大值:65535
      type: keyword
    - name: data
      type: dense_vector           ------- 向量字段,对应milvus的 field_vector类型, 必须迁移有dense_vector的字段
      dims: 512
  milvus:                          ------- 这部分配置非必填,设置生成的milvus表的属性,为空则按默认值
      collection: "rename_index_test"  --- 表名,为空则 esIndex作为表名
      closeDynamicField: false         --- 为空默认为false(开启动态列功能)
      consistencyLevel: Eventually   --- 一致性,为空按 milvus的默认级别
      shardNum: 1                      --- 分片数量,为空默认为2

source:                        ------- es server连接配置信息,支持 serviceToken,fingerprint,cloudId/apiKey,user/pwd,ca.crt 等方式连接/认证
  es:
    urls:
      - http://localhost:9200
    username: xxx
    password: xxx
target:                       ------ 迁移到目标mivlus的bucket信息
  mode: remote
  remote:
    outputDir: outputPath/migration/test1
    cloud: aws
    region: us-west-2
    bucket: xxx
    useIAM: true
    checkBucket: false
  milvus2x:
    endpoint: {yourMilvusAddress}:{port}
    username: ******
    password: ******

关于配置文件更加详细的介绍,请参考项目 README.md。


4. 执行迁移 job


将配置文件放入任意文件目录下,通过执行命令方式开启迁移任务:


./milvus-migration  start  --config=/{YourConfigFilePath}/migration.yaml


观察日志输出,当出现类似如下日志表示迁移成功:


[task/load_base_task.go:94] ["[LoadTasker] Dec Task Processing-------------->"] [Count=0] [fileName=testfiles/output/zwh/migration/test_mul_field4/data_1_1.json] [taskId=442665677354739304]
[task/load_base_task.go:76] ["[LoadTasker] Progress Task --------------->"] [fileName=testfiles/output/zwh/migration/test_mul_field4/data_1_1.json] [taskId=442665677354739304]
[dbclient/cus_field_milvus2x.go:86] ["[Milvus2x] begin to ShowCollectionRows"]
[loader/cus_milvus2x_loader.go:66] ["
[Loader] Static"] [collection=test_mul_field4_rename1] [beforeCount=50000] [afterCount=100000] [increase=50000]
[loader/cus_milvus2x_loader.go:66] ["
[Loader] Static Total"] ["Total Collections"=1] [beforeTotalCount=50000] [afterTotalCount=100000] [totalIncrease=50000]
[migration/es_starter.go:25] ["
[Starter] migration ES to Milvus finish!!!"] [Cost=80.009174459]
[starter/starter.go:106] ["
[Starter] Migration Success!"] [Cost=80.00928425]
[cleaner/remote_cleaner.go:27] ["
[Remote Cleaner] Begin to clean files"] [bucket=a-bucket] [rootPath=testfiles/output/zwh/migration]
[cmd/start.go:32] ["
[Cleaner] clean file success!"]


除了使用命令方式,项目也支持 Restful api 来执行迁移。首先执行如下命令来启动Restful api server:


./milvus-migration server run -p 8080


看到以下日志表示服务启动成功:


  

将 migration.yaml 配置放在当前项目的 configs/migration.yaml, 然后调用api 来启动迁移:


curl -XPOST http://localhost:8080/api/v1/start   


当迁移结束后,我们也可以通过 Attu 来查看迁移成功的总行数,也可以在 Attu 进行 load collection操作;而 collection 主键和 vector 字段建立 autoIndex 索引在迁移过程会自动创建好。


访问 swagger 来查看服务提供的 api:http://localhost:8080/docs/index.html



ES 到 Milvus 2.x 迁移就介绍到这里,下面我们来看下 milvus1.x -> 2.x迁移过程。

  

  • Milvus 1.x -> Milvus 2.x


1. Milvus 1.x 数据准备 - (可跳过,Zilliz Cloud上的 Milvus 用户迁移会用到)


为了让用户快速体验,在项目源码的 testfiles目录下放置了1w 条 Milvus 1.x 测试数据在test1/目录下,目录结构:包含 tables 和 meta.json 两部分。快速体验可用该测试数据:



正常情况用户需要导出自己的 Milvus 1.x 的 meta.json文件,导出方式可通过命令:


./milvus-migration export -m "user:password@tcp(adderss)/milvus?charset=utf8mb4&parseTime=True&loc=Local" -o outputDir


其中 user/password/address 为 Milvus1.x 使用的 mysql;会导出到 outputDir,导出前 Milvus1.x server 需要停机或者停止写入数据。随后将 Milvus 的 tables文件夹进行copy和meta.json放到同一个目录下面。(Milvus 的 tables文件夹一般在 /${user}/milvus/db/tables )


目录结构如下:

filesdir    

    --- meta.json    

    --- tables


当准备好数据后,如果使用的 Milvus 2.x 在 Zilliz Cloud云,则可直接在 cloud console 页面进行迁移操作。


2. 编译打包


项目源码编译同上,最终生成可执行文件:  milvus-migration  (在上面的 export 命令中也是使用该文件命令)


3.配置 migration.ymal config


dumper:
  worker:
    limit: 2
    workMode: milvus1x    ------ 工作模式:milvus1x
    reader:
      bufferSize: 1024      ----- file reader/writer buffer size
    writer:
      bufferSize: 1024
loader:
  worker:
    limit: 16       ------- 支持同时并发迁移的表数量
meta:
  mode: local    ------ meta.json文件存放方式,有:local, remote, mysql, sqlite,
  localFile: /outputDir/test/meta.json
  -- mode: mysql  # milvus的元数据mysql地址
  -- mysqlUrl: "user:password@tcp(localhost:3306)/milvus?charset=utf8mb4&parseTime=True&loc=Local"
source:        ----- milvus1.x talbes目录文件存储源,可以在local, s3,minio,oss,gcp
  mode: local
  local:
    tablesDir: /db/tables/  --数据文件tables目录
target:           ------ 数据通过bulkInsert写入的目标存储位置,
  mode: remote    --- 写入的存储的方式可以可以是:remote 和 local(仅验证dump功能使用)
  remote:
    outputDir: "migration/test/xx" --写入的路径
    ak: xxxx
    sk: xxxx
    cloud: aws   ------ 写入的cloud, 可以是aws, gcp, ali, (如果是minio也填写aws)
    region: us-west-2
    bucket: xxxxx
    useIAM: true
    checkBucket: false
  milvus2x:
    endpoint: "{yourMilvus2_xServerAddress}:{port}"
    username: xxxx
    password: xxxx

关于 migration.yaml 配置文件更加详细的介绍,请查看项目 README.md。


4.执行迁移 Job


不同于 ES 的迁移使用一个命令即可完成迁移,目前 Milvus 1.x 和 Faiss 迁移需要执行 dump 和 load 两个命令(后期规划会改造成一个指令即可)。


  • dump 命令


 ./milvus-migration  dump  --config=/{YourConfigFilePath}/migration.yaml

  

它将 Milvus 1.x 文件数据转为 numpy 文件通过 bulkInsert 写入 target bucket.

 

  • load 命令


执行 load 命令,将转换好的数据文件导入到 Milvus 2x 里面:


./milvus-migration  load  --config=/{YourConfigFilePath}/migration.yaml


最终在 Milvus 2.x中,生成的 collection 中会有两个字段:id 和 data,  可通过 Attu 查看 collection。


  • Faiss -> Milvus 2.x


 1. Faiss 数据准备

前提条件是用户已经准备好了自己的 faiss 数据文件。(为了能快速体验,在项目源码的 testfiles 目录下放置了 faiss 测试数据方便用户体验: faiss_ivf_flat.index.


 

2. 编译打包


这部分同上,不再展开介绍。


3. 配置 migration.ymal config


dumper:
  worker:
    limit: 2
    workMode: faiss    ------ 工作模式:faiss
    reader:
      bufferSize: 1024
    writer:
      bufferSize: 1024
loader:
  worker:
    limit: 2
source:
  mode: local    ---- 数据源可以为 local和 remote
  local:
    faissFile: ./testfiles/faiss/faiss_ivf_flat.index

target:
  create:            ----- 指定生成的collection属性
    collection:
      name: test1w
      shardsNums: 2
      dim: 256
      metricType: L2

  mode: remote
  remote:            ------- 下面配置是将数据写入到本地搭建的minio中,milvus2x也是本地
    outputDir: testfiles/output/
    cloud: aws       ---- 同样支持 aws, gcp, ali 
    endpoint: 0.0.0.0:9000
    region: ap-southeast-1
    bucket: a-bucket
    ak: minioadmin        
    sk: minioadmin
    useIAM: false
    useSSL: false
    checkBucket: true
  milvus2x:
    endpoint: localhost:19530
    username: xxxxx
    password: xxxxx


关于Faiss 的 migration.yaml 配置文件更加详细的介绍,请查看项目 README.md


4. 执行迁移 Job


  • dump 命令

./milvus-migration  dump  --config=/{YourConfigFilePath}/migration.yaml


它将 Faiss 文件数据转为numpy 格式文件通过 bulkInsert 写入 target bucket.


  • load 命令


执行 load 命令,将转换好的数据文件导入到 Milvus 2x 里面:


./milvus-migration  load  --config=/{YourConfigFilePath}/migration.yaml


完成后可通过 Attu 查看生成的 collection 信息进行验证。


04.

未来规划


  • 支持 Redis 迁移到 Milvus

  • 支持 Mongodb 迁移到 Milvus

  • 支持迁移过程断点续传

  • 简化迁移命令:合并 dump 和 load 过程

  • 支持其他数据源迁移到 Milvus

参考资料


1. Milvus-migration: https://github.com/zilliztech/milvus-migration

2. Attu: https://milvus.io/docs/attu.md

3. bulkinsert: https://milvus.io/docs/bulk_insert.md

4. 官方文档: https://milvus.io/docs

5. ES scroll api: https://www.elastic.co/guide/en/elasticsearch/reference/7.17/paginate-search-results.html#scroll-search-results


本文作者

张文辉
Zilliz 高级软件工程师

推荐阅读



本文分享自微信公众号 - ZILLIZ(Zilliztech)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
0
分享
AI总结
返回顶部
顶部