· 大模型语言原理 / RAG / 信息检索 / Embedding / Agentic RAG
大模型语言原理 Day6:检索增强生成与信息检索
RedMoon · 整理于 2026-11-06 · 课堂阅读笔记
一、RAG 要解决什么问题
大语言模型的参数知识可能过时,也通常不能直接访问企业内部文档、私有数据库或实时信息。检索增强生成(Retrieval-Augmented Generation,RAG)先从外部知识源找到与问题相关的材料,再把材料交给模型组织答案。它的核心价值是以更新知识库的方式补充信息,不必每次知识变化都重新训练模型。
基础流程可以拆成两步:先检索,再生成。放到实际系统中,通常还要加入数据准备、权限过滤、查询改写、结果合并与重排、上下文整理、引用校验和质量评估。完整流程大致如下:
| 阶段 | 主要工作 |
|---|---|
| 离线知识准备 | 核验来源,解析和清洗文档,切分文本,保留标题、来源和权限等元数据,建立检索索引 |
| 查询处理 | 判断是否需要检索,必要时拆解或改写问题,并应用用户权限过滤 |
| 检索与排序 | 使用关键词、语义或混合检索取回候选内容,再按相关性排序 |
| 上下文构造 | 去重、选取和压缩证据,保留来源信息,控制输入长度 |
| 生成与检查 | 让模型根据证据作答,附上可核验来源;必要时检查证据是否充分并追加检索 |
把所有资料一次性塞进提示词并不能替代检索:提示会变长、计算开销会上升,最终也会触及上下文窗口限制;无关内容还会挤占真正有用的证据。
二、检索效果需要在召回与精确间权衡
检索器要尽量找全相关材料,同时少带入无关内容。前者对应召回率,后者对应精确率。只取排名第一的文档可能漏掉回答所需的其他依据;一次返回过多候选又会浪费上下文并引入噪声。Top-k、分数阈值和重排器都需要结合语料和任务验证,不存在适用于所有场景的固定参数。
知识库的结构也会影响检索。长文档若切得过大,相关内容可能被其他信息淹没;切得过碎,句子会失去标题、对象或前后关系。切分前应先整理文档,按自然段落或语义边界形成相对完整的知识单元,并保留文档标题、来源、更新时间和访问控制等元数据。
三、三类检索与混合排序
1. 元数据过滤
元数据过滤依据作者、日期、文档类型和用户权限等条件缩小候选范围。它执行规则筛选,不理解查询语义,也不负责相关性排序,所以通常要与关键词或语义检索配合。访问控制应在检索前或检索过程中实施,不能只依赖生成模型“记得不要泄露”。
2. 关键词检索:TF-IDF 与 BM25
关键词检索对用户明确写出的专有名词、编号和精确术语很有用。词袋方法忽略词序,统计词是否出现及出现次数;直接按词频打分会偏爱长文档,也会把“的”“和”等常见词看得过重。
TF-IDF 通过词频和逆文档频率调整权重:在当前文档里出现、但不在所有文档里普遍出现的词,通常更能区分主题。文档长度归一化可以降低长文本天然占优的影响。BM25 是常见的改进方法,会控制词频增长的饱和程度并处理文档长度。复习重点是它为何比简单计数更稳健。
3. 语义检索:Embedding
Embedding 模型把查询和文档映射为向量,使意思相近但措辞不同的内容也有机会匹配。常用比较方式包括余弦相似度、点积和欧氏距离;具体使用哪种度量,应与模型训练方式和向量归一化设置保持一致。
对比学习会让正样本对的表示更接近、负样本对更远,从而提高语义区分能力。向量检索并非“把原始网页直接交给模型”:解析 HTML、去除重复导航和无关标记、聚焦标题与正文、控制截断位置,都会影响索引质量。模型选型也要匹配输入对象,例如查询、句子或文档。
4. 混合检索与 RRF
关键词检索擅长精确词面匹配,语义检索擅长同义表达;把两者结果合并可以减少单一路径漏检。不同检索器的原始分数尺度通常不可直接比较,因此可以先合并候选,再用倒数排名融合(Reciprocal Rank Fusion,RRF)重排。
一种常见形式是:
\[\operatorname{RRF}(d)=\sum_i \frac{1}{k+\operatorname{rank}_i(d)}\]其中,$\operatorname{rank}_i(d)$ 是文档 $d$ 在第 $i$ 个排序列表中的名次,$k$ 是平滑常数。具体实现可采用带 $k$ 的形式或为不同排序列表设置权重。RRF 看的是名次,而非直接把不同检索器的原始分数相加。
四、上下文构造、幻觉与引用
检索到材料之后,系统仍要决定哪些内容值得放入上下文。可按相关性去重、合并相邻 chunk、保留来源标题和文档编号,并对过长历史做裁剪或摘要压缩。裁剪最旧消息很简单,却可能丢掉早先的任务约束;压缩能保留关键信息,但摘要本身也可能遗漏条件,因此重要事实应能追溯到原文。
RAG 可以让回答有外部证据支撑、降低无依据生成的概率,但不会消除幻觉。检索不到证据时,模型仍可能根据已有语言模式补出答案;即使要求逐段引用,模型也可能生成不存在或不对应的引用。更可靠的做法是把引用绑定到系统实际检索到的文档标识和链接,并检查引用内容是否支持相邻主张。证据不足时应允许系统说明不知道或继续检索,而不是强行给出结论。
多次生成的一致性检查可以暴露部分不稳定回答,但会增加成本,也不能证明一致的答案一定正确。最终仍需关注来源质量、检索覆盖和事实核验。
五、Agentic RAG 与微调的分工
Agentic RAG 会根据问题和中间结果动态安排检索:先判断是否需要外部资料,检索后再评估结果是否相关、是否足够回答;若信息缺失或混入无关文档,则改写查询、补充检索或停止并说明证据不足。它把检索从一次性调用变成可评估的循环,但每次额外判断都会增加延迟和成本,因此应只在任务需要时启动。
RAG 和微调解决的问题不同:
| 方法 | 更适合解决 |
|---|---|
| RAG | 需要经常更新或来自私有库的知识;回答需要给出来源 |
| 微调 | 希望模型稳定采用特定任务格式、风格或领域行为 |
| 组合使用 | 用 RAG 提供当前证据,用微调改善模型如何利用证据或遵循任务要求 |
如果问题是模型不知道最新规则,先更新检索知识通常比反复训练参数直接;如果问题是模型不会稳定执行特定任务格式,则需要评估微调或其他行为适配。
六、生产系统的约束
真实部署还要处理流量增长、检索延迟、上下文成本、资料质量和安全问题:
- 数据质量:真实资料可能缺页、重复、过期、缺元数据,或以 PDF、幻灯片和图片形式存在;入库前需要解析并核验来源。
- 权限与隐私:依据当前用户身份过滤可访问文档,避免共享缓存把一个人的结果泄露给另一个人。
- 恶意输入与不可信文档:检索内容是供分析的资料,不应被当作高优先级指令;需要检查模型是否把恶意或错误内容当作可信知识。
- 延迟与成本:查询路由可让简单问题直接回答、需要时再检索;小模型、直接缓存、个性化缓存、向量量化、索引分片等可降低部分开销,但要同时检查答案质量和缓存隔离。
- 线上维护:通过日志观察失败查询、低相关结果和工具路由错误,再更新解析、检索或路由策略。
- 多模态资料:图片、PDF 页面和幻灯片中的结构信息可能在纯文本抽取时丢失,需要合适的解析或多模态索引方案。多模态 Embedding 可把不同模态映射到共同语义空间;页面也可以切成图像 patches 后向量化,再对查询词元与页面 patch 做局部匹配。
七、实验三:本阶段只做数据准备和文档切分
本次实验的材料把工作划分为后续 RAG 流程中的准备阶段:
- 递归读取
dishes下的 Markdown 菜谱,排除模板文件,解析菜名、分类、难度和各部分内容,整理为 JSONL。 - 统计每篇记录的长度,确认长文档是否超过 Embedding 模型输入限制。
- 以句子边界为优先切分文档,遇到单句过长再按 Token 切开,并给每个 chunk 加上菜名和稳定编号。
实验手册建议将最大 chunk 控制在 480 token,为标题前缀及模型限制留出空间。按手册的参考统计,数据集有 321 篇记录,使用 cl100k_base 近似统计 text 字段时,最短约 230 token、中位数约 750、90% 分位约 1233、最长约 4927,平均约 831;271 篇超过 512 token。参考切分约有 739 个 chunk,最大 chunk 为 480 token。这些是材料中的参考数值,不代表一次新的运行结果。
资料中有两点需要按实验要求理解:
- 实验手册明确要求只统计每条 JSON 记录的
text字段;Notebook 的统计单元却对整条 JSON 序列化后计数。照抄这段代码会把元数据和 JSON 格式也算进去,不能与手册参考统计直接比较。 - Notebook 的
split_text和split_records仍保留TODO,没有实现切分逻辑;本阶段不包含 Embedding 调用、向量索引、检索或生成。目录中的课程数据文件是已有材料,不据此认定实验已经完成。
八、复习问题
- 为什么 RAG 需要控制返回的文档数量,而不是把所有资料都送入模型?
- 关键词检索、Embedding 语义检索和元数据过滤分别解决什么问题?
- 为什么混合检索后常按排名融合,而不直接相加两种检索分数?
- RAG 为什么能降低幻觉风险,却不能保证回答和引用一定正确?
- 本次实验的 chunk 为什么要保留菜名、来源和稳定编号?
- 手册为什么要求统计
text字段,而不是整条 JSON?
参考资料
- 课程课件《检索增强生成》。
- 实验指导书《RAG 系统实战:从原始菜谱到文档切分》。
- 实验 Notebook
rag_lab.ipynb。