完蛋!我把AI喂吐了!

原创
02/01 17:55
阅读数 7.4K

当我们用RAG构建一个知识库问答应用的时候,总是希望知识库里面灌的数据越多,问答的效果越好,事实真是如此吗?这篇文章给大家答案。

引言
在人工智能问答系统的发展中,RAG(Retrieval-Augmented Generation)技术以其独特的检索增强生成方式,为减少大模型幻觉开辟了新的天地。然而,在实际落地过程中有一个很大的疑问:RAG系统,数据越多效果越好吗?本文将深入分析数据量如何影响RAG系统的问答效果,并讨论如何优化这一系统以适应不断增长的海量数据。

什么是RAG?
大型语言模型(LLMs)已经展现出了强大的能力,但在实际应用中仍面临很多挑战,如模型幻觉、知识更新缓慢以及答案缺乏可信度等。LLM虽然是在非常庞大的数据集上训练的,但并不是在您的数据上训练的。检索增强生成(RAG)通过将您的数据链接到LLMs来解决这个问题。

RAG是一种将知识检索与生成模型相结合的技术,可以提高问答系统的准确性和相关性。它通过从外部知识源中动态检索信息,并将检索到的数据作为参考来组织答案,从而能有效缓解LLM中存在的幻觉问题。

RAG系统

RAG的工作流程主要包含三个模块:

  • 索引(indexing):文本索引的构建包括以下步骤:文档解析、文本分块、Embedding向量化和创建索引。先将不同格式的原始文件解析转换为纯文本,再把文本切分成较小的文本块。通过Embedding为每一个文本块生成一个向量表示,用于计算文本向量和问题向量之间的相似度。创建索引将原始文本块和Embedding向量以键值对的形式存储,以便将来进行快速和频繁的搜索。
  • 检索(Retrieval):使用Embedding模型将用户输入问题转换为向量,计算问题的Embedding向量和语料库中文本块Embedding向量之间的相似度,选择相似度最高的前K个文档块作为当前问题的增强上下文信息。
  • 生成(Generation):将检索得到的前K个文本块和用户问题一起送进大模型,让大模型基于给定的文本块来回答用户的问题。

有关RAG更全面的信息请参阅综述论文:Retrieval-Augmented Generation for Large Language Models: A Survey,不想阅读原始英文论文?使用「有道速读」快速了解什么是RAG?

RAG系统:数据越多,效果越好吗?
从宏观层面来看,RAG包含两个核心的要素:数据和系统。RAG的应用场景非常多,包括文档助手,智能客服机器人,领域/行业知识库问答等。不同的应用场景优化的侧重点可能有所差异。

对于文档助手这类应用来说,数据是已知的,我就上传几篇文档,就针对这些文档来问问题。我们几乎不用关注数据侧的事情,把精力放在优化系统就可以了。

而对于领域/行业知识库问答来说,需要从数据侧和系统侧同时优化。因为如果用户问题回答不上来,有可能是没相关数据,也有可能是有数据但RAG系统没找到。

数据侧的优化很“简单”,就是尽可能多的收集领域内相关的数据,通通灌进知识库里面。但是, 请先别着急!在开始组织人力收集整理数据之前,我们首先得弄清楚一件事情:RAG系统,数据越多,效果越好吗?

如果答案是肯定的,意味着:

  1. 海量数据放心灌,我可以一批一批地往知识库中加数据,不用担心数据量太大相互干扰导致效果不佳。
  2. 快速迭代快速优化,对于上线之后的badcase,业务侧可以直接通过加相应数据来快速迭代优化。
  3. 降低数据成本,收集和整理的成本,不用费劲心思去做数据去重和脏数据的处理。
  4. 增加系统的稳定性,如果我加的数据不相关,问答的效果不一定会变好,但是起码能保证以前的效果不会变差。

反之,那工作量可就大了😭

实验:数据量对于问答效果的影响
以教育领域的知识库问答为例,我们基于RAG做了一个升学百科问答的应用,专门解答用户关于高考升学规划和志愿填报政策相关的问题。

升学百科问答

升学百科问答不是给定数据,给定问题,然后只需要去优化算法或者系统的Benchmark任务。它的问题是开放的,数据也是开放的(你可以收集到尽可能多的相关数据来提升问答的效果)。所以优化的变量就多了一个:系统是一部分,数据也是一部分。问答效果的好坏不光取决于好的RAG系统,还取决于你的数据量够不够,覆盖的知识全不全?如何优化RAG能让它完全发挥出海量数据的价值是我们研究的重点。

关于数据量对RAG问答质量的影响,我们在升学百科问答项目中做了比较详细的研究。实验设置如下:

  • 用户问题:收集了176个升学百科相关的问题,包括升学路径、志愿填报、选科等相关政策咨询问题。
  • RAG系统:一个经典的RAG系统,包括文本解析切片,embedding向量化建库,检索相关片段,语言模型总结问答等模块。
  • 领域数据:我们收集了海量升学规划相关的资料来验证数据的问题,包括教育领域的互联网数据,书本资料,FAQ问答对等。

RAG在升学百科问答中的实践

结果:检索退化问题
我们分批往RAG知识库中灌入数据,每加一批数据都做一次评测,观察随着数据量变大,问答效果的变化情况:

  • baseline:第一批数据加入后问答正确率有42.6%,此时有一些问题没回答上来是因为确实缺少相关资料。我们继续加数据…
  • 迎来上涨:第二批加了更多数据,覆盖知识范围更广。准确率提升到了60.2%,提升非常明显,看来加数据确实还是挺有用的。
  • 坏消息:当加入第三批数据的时候,我们最担心的事情还是发生了。正确率急剧下降,跌了将近8个百分点。

到这里,我们的问题有了答案,不是所的RAG系统都能保证:数据越多,效果越好。海量数据有可能会把AI喂吐,随着数据的增多,数据之间可能会有相互干扰,导致检索退化的问题,影响问答的质量。

具体问题具体分析
先抓一个典型看看,大连医科大学怎么样?这个问题在v2版本(加入第三批数据前)是能回答对的,v3版本(加入第三批数据后)回答错了。看了一下送到LLM的文本片段,居然全部都是大连理工大学相关的信息。

问题分析:大连医科大学的问答结果

主要原因是第三批加入的某些文档中恰好有大连理工大学xxx怎么样?的句子,和query大连医科大学怎么样?表面上看起来确实非常像,Embedding给它打了比较高的分。

而类似大连医科大学师资介绍这样的片段相关性就稍微低了些。而LLM输入token有限制,前面两个最相关但是实际并不能回答query问题的片段就已经占满了token的窗口,只能把他俩送进LLM里。结果可想而知,啥都不知道。

RAG中的检索退化问题

语义检索:相似≠相关
文本片段与query的相似性和文本片段是否包含query的答案(相关性)是两回事。RAG中一个非常重要的矛盾点在于检索召回的片段比较多,但是LLM输入token是有限制,所以必须把能回答query问题的片段(和问题最相关)给LLM。

Embedding(Bi-Encoder)
Embedding也可以给出一个得分,但是这个得分描述的更多的是相似性。Embedding本质上是一个双编码器,两个文本在模型内部没有任何信息交互。只在最后计算两个向量的余弦相似度时才进行唯一一次交互。所以Embedding检索只能把最相似的文本片段给你,没有能力来判断候选文本和query之间的相关性。但是相似又不等于相关。

如下图所示,从某种程度上,Embedding其实就是在算两个文本块中相似字符的个数占比,它分不清query中的重点是大连医科大学,在它看来每个字符的重要性都是一样的。感兴趣的话可以计算一下下图中红字部分的占比,和最后余弦相似度的得分基本是吻合的。

Embedding原理

Rerank(Cross-Encoder)
Rerank本质是一个Cross-Encoder的模型。Cross-Encoder能让两个文本片段一开始就在BERT模型各层中通过self-attention进行交互。它能够用self-attention判断出来这个query中的重点在于大连医科大学,而不是怎么样?。所以,如下图所示,大连医科大学怎么样?这个query和大连医科大学创建于1947年…更相关。

Rerank原理

Cross-Encoder这么好,为什么不直接用?
因为速度慢。这里说的速度慢不是cross-encoder的模型比bi-encoder的模型速度慢。关键在于bi-encoder可以离线计算海量文本块的向量化表示,把他们暂存在向量数据库中,在问答检索的时候只需要计算一个query的向量化表示就可以了。拿着query的向量表示去库里找最相似的文本即可。

但是cross-encoder需要实时计算两个文本块的相关度,如果候选文本有几万条,每一条都需要和query一起送进BERT模型中算一遍,需要实时算几万次。这个成本是非常巨大的。

所以,我们可以把检索过程分为两个阶段:召回(粗排)和重排。

  • 第一个阶段的目标是尽可能多的召回相似的文本片段,这个阶段的文本得分排序不是特别靠谱,所以候选的topK可以设置大一些,比如topK=100;
  • 第二个阶段的目标是对100个粗排的候选文本片段进行重新排序,用cross-encoder计算100个候选文本和query的相关度得分;

两阶段检索结合可以兼顾效果和效率。

两阶段检索在RAG中的实验
我们对上面升学百科中的文本片段用Rerank模型再做一次排序,重排序后的结果如下图所示,左右可以对照着看,左边是Rerank之前的文本片段,右边是Rerank重排之后的文本片段。可以明显看到右边文本片段的得分和排序更加合理,和人的感受基本上是一致的。重排序之后送进LLM窗口内的文本和query是最相关的,语言模型也能轻松根据相关信息回答出问题,再也不会说不知道了。

两阶段检索在RAG中的实验

QAnything:两阶段检索问答框架
QAnything (Question and Answer based on Anything) 是致力于支持任意格式文件或数据库的本地知识库问答系统。基于有道自研两阶段检索框架,能够做到数据越多,问答效果越好!

QAnything具有以下特点:

  • 数据安全放心用,完全离线使用;
  • 跨语种知识随意问,中英文问答随意切换,无所谓文件是什么语种;
  • 海量数据放心灌,两阶段向量排序,解决了大规模数据检索退化的问题,数据越多,效果越好;
  • 生产级系统直接装,可直接部署企业级应用;
  • 一键安装轻松用,无需繁琐的配置,一键安装部署,拿来就用;
  • 多知识库随时切,支持多个知识库联合问答。
  • 完全开源,完全免费!

QAnything系统架构

QAnything使用的有道自研检索组件BCEmbedding有非常强悍的双语和跨语种能力,能消除语义检索里面的中英语言之间的差异。其中包含的embedding和rerank模型均达到业界SOTA,详细评测指标请参考:有道BECEmbedding模型和Rerank模型指标汇总,如果需要单独使用embedding和rerank组件,点击下面的链接进行下载:

https://github.com/netease-youdao/BCEmbedding

最终结果
至此,我们可以在以上两阶段检索的QAnything系统上重新跑前三批数据的实验了。结果如下:

在数据不变的情况,两阶段检索问答准确率从52.8%提升到65.9%,这个结果再次证明了一阶段检索中存在数据互相干扰的情况。两阶段检索可以最大化的挖掘出数据的潜力,我们继续加数据,效果能够稳定提升。

QAnything实现数据越多效果越好

QAnything两阶段检索最大的意义不是在某一个实验上面提升了10个点。它最大的意义在于让“数据越多,效果越好”变成了现实。这是在准备开始优化一个RAG系统之前要确保的第一件事情。

QAnything应用
QAnything和有道领世联合推出「AI升学规划师」。基于QAnything强劲的检索增强生成能力和有道领世多年深耕的海量升学数据资料,可以为每个学生和家长配备一名私人AI升学规划师,提供更加全面、专业、及时的升学规划服务。

基于「QAnything」,有道AI升学规划师在升学百科问答中准确率达到95%,可以解答用户关于高考政策、升学路径、学习生活以及职业规划等各种问题。并且随着不断地数据补充和更新,这个准确率会一直上涨。

有道领世AI规划师(Powered by QAnything)

如果视频无法播放可点击视频原始链接播放:B站播放链接,可点击此处播放

展望
两阶段检索是一个大的框架,给RAG提供了一个好的基础。未来可以在两阶段的基础上做更多细致的优化。这里有一些想法,贴出来和大家一起探讨:

  • 切片策略:切片策略对检索召回的影响非常大,目前主流的切片策略还比较机械,经常造成一些信息的损失,未来可能会出现更加智能的切片方式。
  • 多路召回:可以在embedding检索的基础上增加BM25检索,或者通过LLM改写query的方式生成多个检索query增加召回率。
  • 意图分类:不同的问题走不同的知识库,或者用不同的处理逻辑。
  • Agent:基于文档的问答能做的事情非常有限,Agent和RAG结合起来可以做更多事情。

开源
自从_「QAnything」_项目开放源代码以来,受到了开发社区的热烈欢迎和广泛认可。截至2024年2月1日,项目在GitHub上已经积累了3600多个星标,这反映出了其流行度和用户对其价值的高度评价。

欢迎点击下面的链接下载试用:

QAnything github: https://github.com/netease-youdao/QAnything

QAnything gitee: https://gitee.com/netease-youdao/QAnything

欢迎大家在GitHub上为「QAnything」加星助力,方便收到新版本更新的通知!

参考信息
QAnything: https://github.com/netease-youdao/QAnything

BCEmbedding: https://github.com/netease-youdao/BCEmbedding

RAG Survery: Retrieval-Augmented Generation for Large Language Models: A Survey

LlamaIndex RAG: https://docs.llamaindex.ai/en/stable/getting_started/concepts.html#retrieval-augmented-generation-rag

Cross-encoder: https://www.sbert.net/examples/applications/cross-encoder/README.html

Sentence-BERT: https://arxiv.org/pdf/1908.10084.pdf

展开阅读全文
加载中
点击加入讨论🔥(3) 发布并加入讨论🔥
打赏
3 评论
27 收藏
1
分享
返回顶部
顶部