RedMoon / 训练日志

· 大模型语言原理 / RAG / 信息检索 / Embedding / Agentic RAG

大模型语言原理 Day6:检索增强生成与信息检索

RedMoon · 整理于 2026-11-06 · 课堂阅读笔记

一、RAG 要解决什么问题

大语言模型的参数知识可能过时,也通常不能直接访问企业内部文档、私有数据库或实时信息。检索增强生成(Retrieval-Augmented Generation,RAG)先从外部知识源找到与问题相关的材料,再把材料交给模型组织答案。它的核心价值是以更新知识库的方式补充信息,不必每次知识变化都重新训练模型。

基础流程可以拆成两步:先检索,再生成。放到实际系统中,通常还要加入数据准备、权限过滤、查询改写、结果合并与重排、上下文整理、引用校验和质量评估。完整流程大致如下:

阶段 主要工作
离线知识准备 核验来源,解析和清洗文档,切分文本,保留标题、来源和权限等元数据,建立检索索引
查询处理 判断是否需要检索,必要时拆解或改写问题,并应用用户权限过滤
检索与排序 使用关键词、语义或混合检索取回候选内容,再按相关性排序
上下文构造 去重、选取和压缩证据,保留来源信息,控制输入长度
生成与检查 让模型根据证据作答,附上可核验来源;必要时检查证据是否充分并追加检索

把所有资料一次性塞进提示词并不能替代检索:提示会变长、计算开销会上升,最终也会触及上下文窗口限制;无关内容还会挤占真正有用的证据。

二、检索效果需要在召回与精确间权衡

检索器要尽量找全相关材料,同时少带入无关内容。前者对应召回率,后者对应精确率。只取排名第一的文档可能漏掉回答所需的其他依据;一次返回过多候选又会浪费上下文并引入噪声。Top-k、分数阈值和重排器都需要结合语料和任务验证,不存在适用于所有场景的固定参数。

知识库的结构也会影响检索。长文档若切得过大,相关内容可能被其他信息淹没;切得过碎,句子会失去标题、对象或前后关系。切分前应先整理文档,按自然段落或语义边界形成相对完整的知识单元,并保留文档标题、来源、更新时间和访问控制等元数据。

三、三类检索与混合排序

1. 元数据过滤

元数据过滤依据作者、日期、文档类型和用户权限等条件缩小候选范围。它执行规则筛选,不理解查询语义,也不负责相关性排序,所以通常要与关键词或语义检索配合。访问控制应在检索前或检索过程中实施,不能只依赖生成模型“记得不要泄露”。

2. 关键词检索:TF-IDF 与 BM25

关键词检索对用户明确写出的专有名词、编号和精确术语很有用。词袋方法忽略词序,统计词是否出现及出现次数;直接按词频打分会偏爱长文档,也会把“的”“和”等常见词看得过重。

TF-IDF 通过词频和逆文档频率调整权重:在当前文档里出现、但不在所有文档里普遍出现的词,通常更能区分主题。文档长度归一化可以降低长文本天然占优的影响。BM25 是常见的改进方法,会控制词频增长的饱和程度并处理文档长度。复习重点是它为何比简单计数更稳健。

3. 语义检索:Embedding

Embedding 模型把查询和文档映射为向量,使意思相近但措辞不同的内容也有机会匹配。常用比较方式包括余弦相似度、点积和欧氏距离;具体使用哪种度量,应与模型训练方式和向量归一化设置保持一致。

对比学习会让正样本对的表示更接近、负样本对更远,从而提高语义区分能力。向量检索并非“把原始网页直接交给模型”:解析 HTML、去除重复导航和无关标记、聚焦标题与正文、控制截断位置,都会影响索引质量。模型选型也要匹配输入对象,例如查询、句子或文档。

4. 混合检索与 RRF

关键词检索擅长精确词面匹配,语义检索擅长同义表达;把两者结果合并可以减少单一路径漏检。不同检索器的原始分数尺度通常不可直接比较,因此可以先合并候选,再用倒数排名融合(Reciprocal Rank Fusion,RRF)重排。

一种常见形式是:

\[\operatorname{RRF}(d)=\sum_i \frac{1}{k+\operatorname{rank}_i(d)}\]

其中,$\operatorname{rank}_i(d)$ 是文档 $d$ 在第 $i$ 个排序列表中的名次,$k$ 是平滑常数。具体实现可采用带 $k$ 的形式或为不同排序列表设置权重。RRF 看的是名次,而非直接把不同检索器的原始分数相加。

四、上下文构造、幻觉与引用

检索到材料之后,系统仍要决定哪些内容值得放入上下文。可按相关性去重、合并相邻 chunk、保留来源标题和文档编号,并对过长历史做裁剪或摘要压缩。裁剪最旧消息很简单,却可能丢掉早先的任务约束;压缩能保留关键信息,但摘要本身也可能遗漏条件,因此重要事实应能追溯到原文。

RAG 可以让回答有外部证据支撑、降低无依据生成的概率,但不会消除幻觉。检索不到证据时,模型仍可能根据已有语言模式补出答案;即使要求逐段引用,模型也可能生成不存在或不对应的引用。更可靠的做法是把引用绑定到系统实际检索到的文档标识和链接,并检查引用内容是否支持相邻主张。证据不足时应允许系统说明不知道或继续检索,而不是强行给出结论。

多次生成的一致性检查可以暴露部分不稳定回答,但会增加成本,也不能证明一致的答案一定正确。最终仍需关注来源质量、检索覆盖和事实核验。

五、Agentic RAG 与微调的分工

Agentic RAG 会根据问题和中间结果动态安排检索:先判断是否需要外部资料,检索后再评估结果是否相关、是否足够回答;若信息缺失或混入无关文档,则改写查询、补充检索或停止并说明证据不足。它把检索从一次性调用变成可评估的循环,但每次额外判断都会增加延迟和成本,因此应只在任务需要时启动。

RAG 和微调解决的问题不同:

方法 更适合解决
RAG 需要经常更新或来自私有库的知识;回答需要给出来源
微调 希望模型稳定采用特定任务格式、风格或领域行为
组合使用 用 RAG 提供当前证据,用微调改善模型如何利用证据或遵循任务要求

如果问题是模型不知道最新规则,先更新检索知识通常比反复训练参数直接;如果问题是模型不会稳定执行特定任务格式,则需要评估微调或其他行为适配。

六、生产系统的约束

真实部署还要处理流量增长、检索延迟、上下文成本、资料质量和安全问题:

  • 数据质量:真实资料可能缺页、重复、过期、缺元数据,或以 PDF、幻灯片和图片形式存在;入库前需要解析并核验来源。
  • 权限与隐私:依据当前用户身份过滤可访问文档,避免共享缓存把一个人的结果泄露给另一个人。
  • 恶意输入与不可信文档:检索内容是供分析的资料,不应被当作高优先级指令;需要检查模型是否把恶意或错误内容当作可信知识。
  • 延迟与成本:查询路由可让简单问题直接回答、需要时再检索;小模型、直接缓存、个性化缓存、向量量化、索引分片等可降低部分开销,但要同时检查答案质量和缓存隔离。
  • 线上维护:通过日志观察失败查询、低相关结果和工具路由错误,再更新解析、检索或路由策略。
  • 多模态资料:图片、PDF 页面和幻灯片中的结构信息可能在纯文本抽取时丢失,需要合适的解析或多模态索引方案。多模态 Embedding 可把不同模态映射到共同语义空间;页面也可以切成图像 patches 后向量化,再对查询词元与页面 patch 做局部匹配。

七、实验三:本阶段只做数据准备和文档切分

本次实验的材料把工作划分为后续 RAG 流程中的准备阶段:

  1. 递归读取 dishes 下的 Markdown 菜谱,排除模板文件,解析菜名、分类、难度和各部分内容,整理为 JSONL。
  2. 统计每篇记录的长度,确认长文档是否超过 Embedding 模型输入限制。
  3. 以句子边界为优先切分文档,遇到单句过长再按 Token 切开,并给每个 chunk 加上菜名和稳定编号。

实验手册建议将最大 chunk 控制在 480 token,为标题前缀及模型限制留出空间。按手册的参考统计,数据集有 321 篇记录,使用 cl100k_base 近似统计 text 字段时,最短约 230 token、中位数约 750、90% 分位约 1233、最长约 4927,平均约 831;271 篇超过 512 token。参考切分约有 739 个 chunk,最大 chunk 为 480 token。这些是材料中的参考数值,不代表一次新的运行结果。

资料中有两点需要按实验要求理解:

  • 实验手册明确要求只统计每条 JSON 记录的 text 字段;Notebook 的统计单元却对整条 JSON 序列化后计数。照抄这段代码会把元数据和 JSON 格式也算进去,不能与手册参考统计直接比较。
  • Notebook 的 split_text 和 split_records 仍保留 TODO,没有实现切分逻辑;本阶段不包含 Embedding 调用、向量索引、检索或生成。目录中的课程数据文件是已有材料,不据此认定实验已经完成。

八、复习问题

  1. 为什么 RAG 需要控制返回的文档数量,而不是把所有资料都送入模型?
  2. 关键词检索、Embedding 语义检索和元数据过滤分别解决什么问题?
  3. 为什么混合检索后常按排名融合,而不直接相加两种检索分数?
  4. RAG 为什么能降低幻觉风险,却不能保证回答和引用一定正确?
  5. 本次实验的 chunk 为什么要保留菜名、来源和稳定编号?
  6. 手册为什么要求统计 text 字段,而不是整条 JSON?

参考资料

  • 课程课件《检索增强生成》。
  • 实验指导书《RAG 系统实战:从原始菜谱到文档切分》。
  • 实验 Notebook rag_lab.ipynb。