大模型时代什么最火?
除了 ChatGPT 以外,诸如 LangChain、LlamaIndex 等构建大模型应用设计的工具热度也一直居高不下。为此,我们推出了【解码 LangChain】系列教程帮助大家轻松上手,接下来便是 【揭秘 LlamaIndex】系列,大家可以按需跳转阅读。
回到 LlamaIndex,随着 AGI 时代的到来,越来越多的开发者开始思考如何有效利用大模型,不过,大家在构建 LLM 应用时普遍会面临三大挑战:
-
LLM 的使用成本高昂
-
LLM 无法及时提供最新信息
-
LLM 缺乏特定专业领域的知识
针对上述问题,业界主流的做法是采用两种主要框架:微调和缓存 + 注入。
微调主要是针对后两点挑战(缺乏正确信息)的解决方法,而缓存 + 注入则是为了解决使用成本高昂的问题。同时,缓存 + 注入的框架也被称为 CVP 架构(即 ChatGPT + Vector Database + Prompt-as-Code)。
在此情况下,LlamaIndex 应运而生。作为一个专为构建 LLM 应用设计的新工具,它可以为用户抽象出上述框架中的内容。
本文为【揭秘 LlamaIndex 系列】,此前我们已经邀请 LlamaIndex 的联合创始人详解【如何使用私有数据提升 LLM 的能力】,也细致介绍过 LlamaIndex 的各式索引,以及如何查询 LlamaIndex 向量存储索引的简略教程。本次,我们将着重讲解如何在 LlamaIndex 中创建并存储向量索引及 2 种持久化存储向量索引的方法。
LlamaIndex 简介
LlamaIndex 可以看作管理用户数据和 LLM 之间交互的工具。LlamaIndex 接收输入数据并为其构建索引,随后使用该索引来回答与输入数据相关的问题。LlamaIndex 可以根据手头的任务构建许多类型的索引,例如:向量索引、树索引、列表索引或关键字索引。
每个索引都有其优点和适用场景。例如,列表索引适用于需要处理大量文档的场景;向量索引适用于语义搜索系统;树索引适用于处理稀疏信息的场景;关键字索引适用于查找特定关键字的场景。(详细介绍可阅读《破解提升 LLMs 性能的黑匣子—— LlamaIndex》)
在使用 LlamaIndex 时,我们可以存储并加载上述索引进行会话管理。通常情况下,可以本地存储索引上下文。如果想要使用持久化存储引擎来存储索引,以便在后续应用搭建过程中使用,可以参照下文的教程。
创建并保存 LlamaIndex 向量索引
以下教程直接使用了 LlamaIndex 仓库中示例文件夹的数据。请先在本地克隆仓库,并在 paul_graham_essay
文件夹中创建 notebook,或从该文件夹直接下载数据,在本地使用代码。
使用本地向量数据库
本教程中,我们使用开源向量数据库 Milvus 的 Milvus Lite 版本。使用 Milvus Lite 版本,可以直接在 notebook 中运行代码,无需任何额外的工作。
- 安装所需软件和环境。不过用户需要 OpenAI API key 才可以使用 GPT 模型,如果需要将 OpenAI API key 存储在
.env
文件中,请务必安装python-dotenv
库。
pip install Milvus llama-index python-dotenv
- 导入
-
从
llama_index
中导入GPTVectorStoreIndex
、StorageContext
以及vector_stores
模块中的MilvusVectorStore
-
从
Milvus
中导入default_server
-
导入了
os
和load_dotenv
以加载 API key
from llama_index import GPTVectorStoreIndex, StorageContext
from llama_index.vector_stores import MilvusVectorStore
from milvus import default_server
from dotenv import load_dotenv
import os
load_dotenv()
open_api_key = os.getenv("OPENAI_API_KEY")
- 启动向量数据库
-
调用
default_server
上的start()
命令来启动本地 Milvus Lite 实例。 -
使用
MilvusVectorStore
连接向量存储,并传入主机和端口参数。
default_server.start()
vector_store = MilvusVectorStore(
host = "127.0.0.1",
port = default_server.listen_port
)
- 配置存储上下文,以便 LlamaIndex 了解在哪里存储索引。然后使用
GPTVectorStoreIndex
创建索引,并传入创建索引的文档和存储上下文。随后我们就可以像平常一样查询索引。
本例中,我们通过 "What did the author do growing up?(作者成长过程中做了哪些事?)"这个问题进行查询。查询时,系统会为这个问题创建向量索引,从而抽象出“作者”、“成长”等词汇的语义。
storage_context = StorageContext.from_defaults(vector_store=vector_store)
index = GPTVectorStoreIndex.from_documents(
documents, storage_context=storage_context
)
query_engine = index.as_query_engine()
response = query_engine.query("What did the author do growing up?")
查询后,得到的响应如下:
“Growing up, the author wrote short stories, programmed on an IBM 1401, and nagged his father to buy him a TRS-80 microcomputer. …”(成长过程中,作者写了短篇小说、在一台 IBM 1401 计算机上编程,并劝说他父亲为其购买一台 TRS-80 微型计算机。……)
使用云端向量数据库
需要注意的是,如果遇到海量数据,我们推荐使用云端向量数据库来存储 LlamaIndex 向量索引。
以下教程中使用了 Zilliz Cloud向量数据库。Zilliz Cloud 提供全托管的 Milvus 服务。使用 Zilliz Cloud 前,请先注册账号,并创建 1 个 Collection。
与 Milvus 不同,使用 Zilliz Cloud 时需要提供 HOST
、PORT
、USER
和PASSWORD
。你可以在 Zilliz Cloud 界面中查看上述主机、端口、用户名和密码信息。
✅ 以下为正确代码示例:
vector_store = MilvusVectorStore(
host = HOST
port = PORT,
user = USER,
password = PASSWORD,
use_secure = True,
overwrite = True
)
❌ 以下为错误代码示例:
vector_store = MilvusVectorStore(
host = "127.0.0.1",
port = default_server.listen_port
)
探索国内 Zilliz Cloud 云服务可点击链接进行注册。
本文作者为 Zilliz 开发者布道师 Yujian Tang,文章最初发表于 Toward AI,已获得转载许可。
🌟「寻找 AIGC 时代的 CVP 实践之星」 专题活动即将启动!
Zilliz 将联合国内头部大模型厂商一同甄选应用场景, 由双方提供向量数据库与大模型顶级技术专家为用户赋能,一同打磨应用,提升落地效果,赋能业务本身。
如果你的应用也适合 CVP 框架,且正为应用落地和实际效果发愁,可直接申请参与活动,获得最专业的帮助和指导!联系邮箱为 business@zilliz.com。
-
如果在使用 Milvus 或 Zilliz 产品有任何问题,可添加小助手微信 “zilliz-tech” 加入交流群。
-
欢迎关注微信公众号“Zilliz”,了解最新资讯。