· 大模型语言原理 / 数据工程 / Transformer / 训练优化 / 长上下文
大模型语言原理 Day3:从数据工程到 Transformer 训练系统
RedMoon · 整理于 2026-10-23 · 课堂阅读笔记
一、这节课的主线
Day1 解释了语言模型为什么可以把文本写成条件概率,Day2 把模型放回智能软件,讨论了规模、推理和团队接口。本节向模型内部再走一步:一条可训练、可部署的大模型链路,究竟怎样从原始数据开始,经过 Token 化、Transformer 计算、优化器和分布式并行,最后变成长上下文和低成本推理能力。
这条链路可以压缩成四个问题:
- 数据怎样进入模型? 采集、过滤、去重、脱敏和 Token 化决定了训练分布。
- 模型怎样处理序列? 嵌入、位置编码、注意力、前馈网络和残差连接共同构成 Transformer。
- 参数怎样被稳定更新? 预训练目标、学习率、优化器、梯度裁剪和混合精度决定训练能否持续。
- 训练好的模型怎样被使用? KV Cache、量化、投机解码和长上下文策略共同决定推理成本与响应速度。
课堂里有不少公式,但复习重点是理解每个部件在系统中的职责:数据工程负责输入分布,注意力负责依赖关系,FFN 负责逐位置的非线性变换,并行策略负责把任务放进有限硬件,推理优化负责把一次昂贵的训练产物变成可用服务。
二、数据工程:模型能力从训练前就开始形成
1. 多源数据不是简单拼接
大模型训练通常会同时使用网页、书籍、对话、代码、科学文本和双语语料。不同来源承担的作用不同:
| 数据来源 | 主要价值 | 需要关注的条件 |
|---|---|---|
| 网页文本 | 覆盖广、更新快 | 质量差异、重复转载、版权与隐私 |
| 书籍与编辑材料 | 结构完整、语言稳定 | 授权范围、领域覆盖 |
| 对话数据 | 学习问答与交互格式 | 轮次偏差、角色和上下文分布 |
| 科学论文 | 专业术语、推理与实验表达 | 许可、公式和引用结构 |
| 代码仓库 | 学习程序结构和 API 使用 | 许可证、依赖版本、重复代码 |
| 双语语料 | 翻译和跨语言对齐 | 语言质量、句对一致性 |
数据量大不等于信息量大。课堂用“长对话容易被误判为亲密关系”的例子说明,模型会学习语料中的统计关联;如果训练集把某种偶然相关性重复得太多,模型就可能把它当成一般规律。数据工程的任务不是把所有文本都送进模型,而是让来源、质量和目标能力相互匹配。
图 1:数据在进入训练前要经过质量过滤、去重、隐私处理和 Token 化。每一步都会改变最终的训练分布。
2. 质量过滤、去重与隐私处理
质量过滤可以从规则和统计两条线展开:
- 语言识别:根据目标模型的语言范围过滤或分配权重;
- 长度与格式:处理过短、异常超长、乱码和网页模板残片;
- 特殊字符与关键词:识别脏话、广告、重复标记和明显的低信息量片段;
- 统计指标:用困惑度、字符分布、质量分类器等方法筛出异常文本。
规则不是越多越好。一个短句可能是代码、标题或问答中的关键答案,是否保留要由任务定义决定。过滤规则需要在抽样数据上检查误删和漏删,而不能把“看起来不完整”直接等同于“无价值”。
去重至少有三个粒度:
- 句子级去重,减少短片段高频重复;
- 文档级去重,处理完全相同或高度相似的文章;
- 数据集级去重,检查训练集、验证集和测试集之间的交叉。
最后一项尤其重要。训练集和测试集即使文件名不同,也可能包含大段相同内容;这样的评估会高估模型的泛化能力。工程上常把文本转换为集合或指纹,再用 Jaccard 相似度、MinHash 等方法近似比较大规模文档的重叠程度。
隐私处理针对能够定位到具体个人的信息,例如姓名、身份证号、电话号码、地址和人脸描述。关键词匹配可以先做粗筛,再由小模型或专用识别器复核。公众人物信息是否公开可用,还要结合来源许可和具体用途判断;“网页上能搜到”不等于可以无条件并入训练集。
三、Token 化:把文本变成模型可计算的序列
1. 为什么不直接按完整单词切分
神经网络不能直接处理字符串,必须先把文本切成 Token,再映射为词表中的整数 ID。最简单的词级分词有两个问题:
- 新词、专有名词和组合词会造成大量未登录词;
- 词表必须不断扩张,稀有词会占用词表空间。
字符级分词几乎不会遇到未登录词,但序列会变得很长,单个 Token 携带的信息也更少。子词分词在词表大小和序列长度之间取折中:常见片段保留为整体,罕见词拆成多个片段。
2. BPE 的直觉
BPE(Byte Pair Encoding)的基本过程是:
- 先把语料表示成较小的基本单元;
- 统计相邻单元的出现频率;
- 合并最常见的一对,并为新片段分配词表 ID;
- 重复合并,直到词表达到设定规模。
例如,若某个字符对在大量文本中反复出现,它可能被合并成一个子词;一个新词则可以由已有子词拼起来。这样,Tokenizer 既能高效表示常见词,也能用片段组合表示新词。
WordPiece 和 Unigram 采用不同的合并或删减准则,但共同目标都是建立一个适合训练数据和任务的词表。代码、自然语言和多语言数据的分布差别很大,Tokenizer 通常需要针对目标数据设计;编码与解码逻辑必须和模型保持一致。
词表 ID 只是编号,不携带“数字越大越接近”的语义。Token 被映射为 ID 后,还要经过嵌入层变成向量,模型学习的是向量和参数之间的关系。
四、Transformer:把序列关系拆成可组合的模块
1. 嵌入与位置编码
嵌入层把离散的 Token ID 映射到连续向量空间。相似用法的片段可以在训练中形成相近表示,但“相近”来自目标和数据共同塑造,不能把词向量距离直接当成完整语义。
Transformer 没有 RNN 那样的天然时序递推,因此需要额外加入位置信息。常见思路包括:
- 绝对位置编码:为每个位置提供固定或可学习向量;
- 相对位置编码:让注意力显式感知两个位置之间的相对距离;
- RoPE:通过对向量的二维子空间进行旋转,把位置信息融入查询和键的相似度计算。
位置编码解决的是“同一组 Token 处在不同位置时如何区分”。它不自动提供无限长上下文,也不能单独保证模型在训练长度之外稳定外推。
2. 缩放点积注意力
自注意力先把每个位置的表示投影成 Query、Key 和 Value,再用 Query 与 Key 的匹配结果决定应该聚合哪些 Value:
\[\operatorname{Attention}(Q,K,V) =\operatorname{softmax}\left(\frac{QK^{\mathsf T}}{\sqrt{d_k}}\right)V.\]其中,$d_k$ 是 Key 的维度。除以 $\sqrt{d_k}$ 是为了控制点积的数值尺度,使 Softmax 不至于过早变得极端。
对 Decoder-only 模型,还要使用因果掩码(Causal Mask):位置 $t$ 只能看到自己和左侧的 Token,不能读取未来位置。这样训练时可以并行计算整段序列,推理时又保持“根据已有内容预测下一个 Token”的因果关系。
3. 多头注意力、残差和 FFN
多头注意力把隐藏向量切分到多个头中,每个头在自己的子空间里计算注意力,再把结果拼接并投影回原维度。不同头可能学到语法依赖、实体关系或局部模式,但具体分工由训练形成,不能预先给每个头贴上固定标签。
注意力之后通常还会经过残差连接、层归一化和前馈网络:
\[x_{\text{out}}=x+F(x).\]残差为输入保留一条直接通路,使深层网络更容易传递梯度。FFN 在每个位置上独立执行两次线性变换和激活函数,提供注意力本身没有的逐位置非线性变换能力。Pre-LN 把归一化放在子层前,通常更容易稳定训练;Post-LN 则是原始 Transformer 结构中的安排。
图 2:一个 Decoder 层可以看成“注意力聚合 → 残差与归一化 → FFN 变换”的重复路径。输出 Logits 再用于预测下一个 Token。
五、架构变体与稀疏化
Transformer 的三类常见结构可以按信息流区分:
| 架构 | 注意力可见范围 | 更常见的任务 |
|---|---|---|
| Encoder-only | 输入内部通常双向可见 | 分类、标注、检索表示 |
| Decoder-only | 因果可见,只读当前及左侧 | 对话、代码、开放式生成 |
| Encoder-Decoder | 编码输入,再条件生成输出 | 翻译、摘要、序列转换 |
Decoder-only 适合把多种任务统一成“给定上下文,继续生成”的接口,因此成为当前生成式大模型的主流路线之一。它不是所有任务的唯一答案,架构选择仍要看输入输出关系、数据、推理成本和部署环境。
当序列变长时,标准自注意力的计算和显存开销会随序列长度近似平方增长。稀疏注意力、窗口注意力和线性注意力试图降低这部分开销,但通常需要在可见范围、表达能力和实现复杂度之间做取舍。
混合专家模型(MoE)把 FFN 拆成多个专家,由路由器为每个 Token 选择少数专家。总参数量可以很大,但每次只激活其中一部分,从而提高参数容量与单次计算之间的效率。MoE 的难点转移到路由均衡、专家负载、通信和训练稳定性上;“参数更多”不等于每个 Token 都执行更多计算。
六、训练目标:从预训练到指令适配
1. 自回归预训练
给定 Token 序列 $x_{1:T}$,自回归训练的平均负对数似然可以写成:
\[\mathcal{L}(\theta) =-\frac{1}{T}\sum_{t=1}^{T} \log P_\theta(x_t\mid x_{<t}).\]训练阶段使用原始文本中的目标 Token,模型通过梯度更新参数 $\theta$,提高正确下一个 Token 的概率。损失下降说明语言预测目标得到改善,不能直接推出事实正确、工具调用成功或业务任务完成。
2. 训练阶段的分工
课堂把训练链路概括为三段:
| 阶段 | 数据与目标 | 主要作用 |
|---|---|---|
| 预训练 | 大规模文本与 Next Token Prediction | 学习语言规律、知识关联和通用表示 |
| 持续预训练 | 领域语料与原有目标 | 适应代码、法律、医疗等领域分布 |
| 指令微调(SFT) | 指令—输入—回答样本 | 学习遵循任务说明和输出格式 |
预训练决定模型的基础分布,适配阶段让它更好地使用这些能力。数据配比、采样权重和训练轮数会改变不同能力之间的平衡,不能只看参数量或最终的单一损失。
七、优化器与训练稳定性
1. 学习率为什么要先升再降
训练刚开始时,参数和梯度都处在尚未稳定的状态。如果一开始就使用较大的学习率,更新可能过猛。Warmup 让学习率在少量步数内逐渐升高,再进入主体训练;后续通过线性或余弦 Decay 逐步减小学习率,使优化过程更平稳。
Warmup 占总训练步数的比例通常不大,具体长度仍要根据批大小、优化器和模型规模调节。它是稳定训练的手段,不是独立的训练阶段。
2. AdamW、梯度裁剪与正则化
SGD 只根据当前梯度更新参数,带动量的优化器会保留历史方向,减少在狭窄区域来回震荡。Adam 为不同参数维护梯度的一阶和二阶统计量,AdamW 则把权重衰减与梯度更新解耦。
当梯度范数突然变大时,可以使用梯度裁剪限制最大更新步长。训练中还可能保存检查点,在损失异常、验证指标恶化或数据批次出现问题时回滚;这类回滚和数据排查属于训练系统的故障恢复,而不是优化器本身的公式。
3. 混合精度与激活重计算
混合精度训练通常用 BF16 或 FP16 执行大部分前向、反向计算,同时保留 FP32 的主参数副本用于更新。这样可以减少显存和带宽压力,并利用硬件的半精度吞吐;具体数值稳定性还要通过 loss scaling、溢出检测和验证指标检查。
激活重计算(Activation Checkpointing)只保存一部分中间激活,反向传播需要时重新计算被省略的部分。它用额外计算换取显存空间,适合“激活占用大、重新计算相对便宜”的层。
图 3:训练阶段、稳定性技巧和推理阶段各自解决不同瓶颈。并行策略主要解决设备容量与吞吐,混合精度和重计算在速度与显存之间换取空间,KV Cache 与量化服务于部署。
八、分布式训练:计算、存储和通信一起设计
1. 数据并行
数据并行在多张设备上复制模型,每张设备处理不同的数据分片,再同步梯度并更新参数。它适合模型能够放入单卡、但单卡吞吐不足的场景。模型副本会占用重复显存,因此不能解决“单张卡根本放不下模型”的问题。
2. 张量并行
张量并行把一个矩阵乘法或其他层内计算拆到多张设备上。每张设备只保存部分参数,单卡显存压力降低,但每层计算中都可能发生通信。通信带宽和同步等待会决定实际加速比。
3. 流水线并行与 3D 并行
流水线并行按层切分模型,让数据依次通过不同设备。它减少了单卡的层数和参数存储,但设备之间需要等待,容易出现流水线气泡。实际系统还要调节 micro-batch 和调度方式。
数据并行、张量并行和流水线并行可以组合成 3D 并行。组合并不意味着理论加速简单相乘:模型切分、数据传输、同步和负载不均衡都会产生额外开销,实际收益必须通过端到端测量确认。
九、长上下文与推理优化
1. 长上下文的三条路径
长文本处理通常从三类方向入手:
- 位置编码扩展:通过位置插值或重新设定频率,让模型适应更长位置范围;
- 局部窗口:每个 Token 只关注附近窗口,再用少量全局 Token 传递远距离信息;
- 外部记忆与检索:把历史内容写入向量数据库或其他存储,需要时检索相关片段放入当前上下文。
如果原始模型的上下文窗口不足,最稳妥的工程方案往往是分段处理、保留摘要或检索关键片段,而不是把超长文档一次性塞入模型。不同方案的效果取决于任务是否需要精确跨段引用、全局排序或长距离推理。
2. KV Cache、量化和投机解码
自回归生成每次只新增一个 Token。若每一步都重新计算全部历史 Token,成本会很高。KV Cache 保存已经计算过的 Key 和 Value,使下一步只计算新增部分,从而显著减少重复工作。
量化把权重或激活从 FP16/BF16 压缩到 INT8、INT4 等更低精度,减少显存并提高吞吐。量化后的误差需要在目标任务和硬件上验证,不能只凭位宽变化推断质量。
投机解码使用较小的草稿模型快速提出候选 Token,再由大模型并行验证;验证通过的候选可以一次接受多个,验证失败时回到大模型的正常生成路径。它利用大小模型之间的速度差异,但收益依赖候选接受率和系统实现。
十、课堂里的工程判断
1. 训练优化不是独立技巧清单
数据清洗、架构选择、优化器和并行方式互相影响。数据质量差时,增大模型只能让模型更有效地记住噪声;模型放不进单卡时,数据并行无法解决根本问题;推理延迟由网络和排队主导时,单纯优化矩阵乘法也不一定改善用户体验。
一个可执行的排查顺序是:
- 先确认任务目标和输入输出边界;
- 再确认数据来源、分布、重复和隐私条件;
- 再根据模型规模和硬件选择并行方式;
- 最后用真实任务的质量、延迟、显存和成本指标验证优化是否有效。
2. 模型结构与产品目标要对应
Encoder-only、Decoder-only、Encoder-Decoder 的差异首先是信息流和训练目标的差异,不是简单的优劣排序。MoE、稀疏注意力和量化也不是“免费加速”,它们会把成本转移到路由、通信、校准和质量验证上。
真正的工程问题是:在给定的任务、数据、硬件和响应时间下,哪一种结构能提供足够的质量,并且能够被监控、回滚和维护。
十一、复习问题与参考回答
1. 为什么数据清洗会影响模型能力,而不仅仅影响数据规模?
模型学习的是训练分布。重复、低质量或隐私信息会改变高频模式和风险边界,清洗会改变模型最终看到的内容结构。
2. BPE 为什么能缓解未登录词问题?
它把常见字符或子词合并成词表单元,罕见新词仍可以拆成已有片段,因此不必为每个新词单独建立完整词条。
3. 缩放点积注意力中为什么要除以 $\sqrt{d_k}$?
随着维度增大,点积的数值尺度可能增大,Softmax 会变得过于尖锐。缩放有助于保持梯度和训练稳定性。
4. Causal Mask 解决什么问题?
它阻止当前位置读取未来 Token,使训练阶段的并行计算仍然对应推理阶段的自回归生成。
5. 残差连接和 FFN 分别承担什么职责?
残差连接提供信息和梯度的直接通路;FFN 对每个位置进行独立的非线性变换,补充注意力的关系聚合。
6. 数据并行为什么不能解决单卡放不下模型?
数据并行复制完整模型,只把数据分片。单个模型副本仍需放入一张卡;需要拆参数时应考虑张量并行、流水线并行或参数分片。
7. 激活重计算用什么换什么?
它用额外的前向重算换取更低的激活显存占用,适合显存紧张但重算成本可接受的训练场景。
8. 长上下文为什么不只靠扩大窗口?
窗口越长,注意力计算和显存开销越高;很多任务真正需要的是从历史中找到相关信息,因此位置编码、局部窗口和检索可以组合使用。
9. KV Cache 为什么能加速自回归生成?
历史 Token 的 Key 和 Value 已经计算过,缓存后每一步只需处理新增 Token,避免重复计算整段历史。
10. 怎样判断一次优化真的有效?
同时看目标任务质量、吞吐、端到端延迟、显存、稳定性和成本。单项指标变好而其他约束恶化,不能算系统层面的改进。
参考材料
课堂材料:
- 《大模型架构原理与训练优化详解》课堂转写;
Day3.md课堂摘要。
用于概念核对的经典论文:
- Vaswani et al., Attention Is All You Need, 2017。
- Sennrich et al., Neural Machine Translation of Rare Words with Subword Units, 2016。
- Shazeer et al., Sparsely-Gated Mixture-of-Experts, 2017。
- Hoffmann et al., Training Compute-Optimal Large Language Models, 2022。