RedMoon / 训练日志

· 大模型语言原理 / 数据工程 / Transformer / 训练优化 / 长上下文

大模型语言原理 Day3:从数据工程到 Transformer 训练系统

RedMoon · 整理于 2026-10-23 · 课堂阅读笔记

一、这节课的主线

Day1 解释了语言模型为什么可以把文本写成条件概率,Day2 把模型放回智能软件,讨论了规模、推理和团队接口。本节向模型内部再走一步:一条可训练、可部署的大模型链路,究竟怎样从原始数据开始,经过 Token 化、Transformer 计算、优化器和分布式并行,最后变成长上下文和低成本推理能力。

这条链路可以压缩成四个问题:

  1. 数据怎样进入模型? 采集、过滤、去重、脱敏和 Token 化决定了训练分布。
  2. 模型怎样处理序列? 嵌入、位置编码、注意力、前馈网络和残差连接共同构成 Transformer。
  3. 参数怎样被稳定更新? 预训练目标、学习率、优化器、梯度裁剪和混合精度决定训练能否持续。
  4. 训练好的模型怎样被使用? KV Cache、量化、投机解码和长上下文策略共同决定推理成本与响应速度。

课堂里有不少公式,但复习重点是理解每个部件在系统中的职责:数据工程负责输入分布,注意力负责依赖关系,FFN 负责逐位置的非线性变换,并行策略负责把任务放进有限硬件,推理优化负责把一次昂贵的训练产物变成可用服务。

二、数据工程:模型能力从训练前就开始形成

1. 多源数据不是简单拼接

大模型训练通常会同时使用网页、书籍、对话、代码、科学文本和双语语料。不同来源承担的作用不同:

数据来源 主要价值 需要关注的条件
网页文本 覆盖广、更新快 质量差异、重复转载、版权与隐私
书籍与编辑材料 结构完整、语言稳定 授权范围、领域覆盖
对话数据 学习问答与交互格式 轮次偏差、角色和上下文分布
科学论文 专业术语、推理与实验表达 许可、公式和引用结构
代码仓库 学习程序结构和 API 使用 许可证、依赖版本、重复代码
双语语料 翻译和跨语言对齐 语言质量、句对一致性

数据量大不等于信息量大。课堂用“长对话容易被误判为亲密关系”的例子说明,模型会学习语料中的统计关联;如果训练集把某种偶然相关性重复得太多,模型就可能把它当成一般规律。数据工程的任务不是把所有文本都送进模型,而是让来源、质量和目标能力相互匹配。

大模型数据准备流水线:从多源采集到训练数据

图 1:数据在进入训练前要经过质量过滤、去重、隐私处理和 Token 化。每一步都会改变最终的训练分布。

2. 质量过滤、去重与隐私处理

质量过滤可以从规则和统计两条线展开:

  • 语言识别:根据目标模型的语言范围过滤或分配权重;
  • 长度与格式:处理过短、异常超长、乱码和网页模板残片;
  • 特殊字符与关键词:识别脏话、广告、重复标记和明显的低信息量片段;
  • 统计指标:用困惑度、字符分布、质量分类器等方法筛出异常文本。

规则不是越多越好。一个短句可能是代码、标题或问答中的关键答案,是否保留要由任务定义决定。过滤规则需要在抽样数据上检查误删和漏删,而不能把“看起来不完整”直接等同于“无价值”。

去重至少有三个粒度:

  1. 句子级去重,减少短片段高频重复;
  2. 文档级去重,处理完全相同或高度相似的文章;
  3. 数据集级去重,检查训练集、验证集和测试集之间的交叉。

最后一项尤其重要。训练集和测试集即使文件名不同,也可能包含大段相同内容;这样的评估会高估模型的泛化能力。工程上常把文本转换为集合或指纹,再用 Jaccard 相似度、MinHash 等方法近似比较大规模文档的重叠程度。

隐私处理针对能够定位到具体个人的信息,例如姓名、身份证号、电话号码、地址和人脸描述。关键词匹配可以先做粗筛,再由小模型或专用识别器复核。公众人物信息是否公开可用,还要结合来源许可和具体用途判断;“网页上能搜到”不等于可以无条件并入训练集。

三、Token 化:把文本变成模型可计算的序列

1. 为什么不直接按完整单词切分

神经网络不能直接处理字符串,必须先把文本切成 Token,再映射为词表中的整数 ID。最简单的词级分词有两个问题:

  • 新词、专有名词和组合词会造成大量未登录词;
  • 词表必须不断扩张,稀有词会占用词表空间。

字符级分词几乎不会遇到未登录词,但序列会变得很长,单个 Token 携带的信息也更少。子词分词在词表大小和序列长度之间取折中:常见片段保留为整体,罕见词拆成多个片段。

2. BPE 的直觉

BPE(Byte Pair Encoding)的基本过程是:

  1. 先把语料表示成较小的基本单元;
  2. 统计相邻单元的出现频率;
  3. 合并最常见的一对,并为新片段分配词表 ID;
  4. 重复合并,直到词表达到设定规模。

例如,若某个字符对在大量文本中反复出现,它可能被合并成一个子词;一个新词则可以由已有子词拼起来。这样,Tokenizer 既能高效表示常见词,也能用片段组合表示新词。

WordPiece 和 Unigram 采用不同的合并或删减准则,但共同目标都是建立一个适合训练数据和任务的词表。代码、自然语言和多语言数据的分布差别很大,Tokenizer 通常需要针对目标数据设计;编码与解码逻辑必须和模型保持一致。

词表 ID 只是编号,不携带“数字越大越接近”的语义。Token 被映射为 ID 后,还要经过嵌入层变成向量,模型学习的是向量和参数之间的关系。

四、Transformer:把序列关系拆成可组合的模块

1. 嵌入与位置编码

嵌入层把离散的 Token ID 映射到连续向量空间。相似用法的片段可以在训练中形成相近表示,但“相近”来自目标和数据共同塑造,不能把词向量距离直接当成完整语义。

Transformer 没有 RNN 那样的天然时序递推,因此需要额外加入位置信息。常见思路包括:

  • 绝对位置编码:为每个位置提供固定或可学习向量;
  • 相对位置编码:让注意力显式感知两个位置之间的相对距离;
  • RoPE:通过对向量的二维子空间进行旋转,把位置信息融入查询和键的相似度计算。

位置编码解决的是“同一组 Token 处在不同位置时如何区分”。它不自动提供无限长上下文,也不能单独保证模型在训练长度之外稳定外推。

2. 缩放点积注意力

自注意力先把每个位置的表示投影成 Query、Key 和 Value,再用 Query 与 Key 的匹配结果决定应该聚合哪些 Value:

\[\operatorname{Attention}(Q,K,V) =\operatorname{softmax}\left(\frac{QK^{\mathsf T}}{\sqrt{d_k}}\right)V.\]

其中,$d_k$ 是 Key 的维度。除以 $\sqrt{d_k}$ 是为了控制点积的数值尺度,使 Softmax 不至于过早变得极端。

对 Decoder-only 模型,还要使用因果掩码(Causal Mask):位置 $t$ 只能看到自己和左侧的 Token,不能读取未来位置。这样训练时可以并行计算整段序列,推理时又保持“根据已有内容预测下一个 Token”的因果关系。

3. 多头注意力、残差和 FFN

多头注意力把隐藏向量切分到多个头中,每个头在自己的子空间里计算注意力,再把结果拼接并投影回原维度。不同头可能学到语法依赖、实体关系或局部模式,但具体分工由训练形成,不能预先给每个头贴上固定标签。

注意力之后通常还会经过残差连接、层归一化和前馈网络:

\[x_{\text{out}}=x+F(x).\]

残差为输入保留一条直接通路,使深层网络更容易传递梯度。FFN 在每个位置上独立执行两次线性变换和激活函数,提供注意力本身没有的逐位置非线性变换能力。Pre-LN 把归一化放在子层前,通常更容易稳定训练;Post-LN 则是原始 Transformer 结构中的安排。

Transformer Decoder 层的计算路径

图 2:一个 Decoder 层可以看成“注意力聚合 → 残差与归一化 → FFN 变换”的重复路径。输出 Logits 再用于预测下一个 Token。

五、架构变体与稀疏化

Transformer 的三类常见结构可以按信息流区分:

架构 注意力可见范围 更常见的任务
Encoder-only 输入内部通常双向可见 分类、标注、检索表示
Decoder-only 因果可见,只读当前及左侧 对话、代码、开放式生成
Encoder-Decoder 编码输入,再条件生成输出 翻译、摘要、序列转换

Decoder-only 适合把多种任务统一成“给定上下文,继续生成”的接口,因此成为当前生成式大模型的主流路线之一。它不是所有任务的唯一答案,架构选择仍要看输入输出关系、数据、推理成本和部署环境。

当序列变长时,标准自注意力的计算和显存开销会随序列长度近似平方增长。稀疏注意力、窗口注意力和线性注意力试图降低这部分开销,但通常需要在可见范围、表达能力和实现复杂度之间做取舍。

混合专家模型(MoE)把 FFN 拆成多个专家,由路由器为每个 Token 选择少数专家。总参数量可以很大,但每次只激活其中一部分,从而提高参数容量与单次计算之间的效率。MoE 的难点转移到路由均衡、专家负载、通信和训练稳定性上;“参数更多”不等于每个 Token 都执行更多计算。

六、训练目标:从预训练到指令适配

1. 自回归预训练

给定 Token 序列 $x_{1:T}$,自回归训练的平均负对数似然可以写成:

\[\mathcal{L}(\theta) =-\frac{1}{T}\sum_{t=1}^{T} \log P_\theta(x_t\mid x_{<t}).\]

训练阶段使用原始文本中的目标 Token,模型通过梯度更新参数 $\theta$,提高正确下一个 Token 的概率。损失下降说明语言预测目标得到改善,不能直接推出事实正确、工具调用成功或业务任务完成。

2. 训练阶段的分工

课堂把训练链路概括为三段:

阶段 数据与目标 主要作用
预训练 大规模文本与 Next Token Prediction 学习语言规律、知识关联和通用表示
持续预训练 领域语料与原有目标 适应代码、法律、医疗等领域分布
指令微调(SFT) 指令—输入—回答样本 学习遵循任务说明和输出格式

预训练决定模型的基础分布,适配阶段让它更好地使用这些能力。数据配比、采样权重和训练轮数会改变不同能力之间的平衡,不能只看参数量或最终的单一损失。

七、优化器与训练稳定性

1. 学习率为什么要先升再降

训练刚开始时,参数和梯度都处在尚未稳定的状态。如果一开始就使用较大的学习率,更新可能过猛。Warmup 让学习率在少量步数内逐渐升高,再进入主体训练;后续通过线性或余弦 Decay 逐步减小学习率,使优化过程更平稳。

Warmup 占总训练步数的比例通常不大,具体长度仍要根据批大小、优化器和模型规模调节。它是稳定训练的手段,不是独立的训练阶段。

2. AdamW、梯度裁剪与正则化

SGD 只根据当前梯度更新参数,带动量的优化器会保留历史方向,减少在狭窄区域来回震荡。Adam 为不同参数维护梯度的一阶和二阶统计量,AdamW 则把权重衰减与梯度更新解耦。

当梯度范数突然变大时,可以使用梯度裁剪限制最大更新步长。训练中还可能保存检查点,在损失异常、验证指标恶化或数据批次出现问题时回滚;这类回滚和数据排查属于训练系统的故障恢复,而不是优化器本身的公式。

3. 混合精度与激活重计算

混合精度训练通常用 BF16 或 FP16 执行大部分前向、反向计算,同时保留 FP32 的主参数副本用于更新。这样可以减少显存和带宽压力,并利用硬件的半精度吞吐;具体数值稳定性还要通过 loss scaling、溢出检测和验证指标检查。

激活重计算(Activation Checkpointing)只保存一部分中间激活,反向传播需要时重新计算被省略的部分。它用额外计算换取显存空间,适合“激活占用大、重新计算相对便宜”的层。

大模型训练与推理优化地图

图 3:训练阶段、稳定性技巧和推理阶段各自解决不同瓶颈。并行策略主要解决设备容量与吞吐,混合精度和重计算在速度与显存之间换取空间,KV Cache 与量化服务于部署。

八、分布式训练:计算、存储和通信一起设计

1. 数据并行

数据并行在多张设备上复制模型,每张设备处理不同的数据分片,再同步梯度并更新参数。它适合模型能够放入单卡、但单卡吞吐不足的场景。模型副本会占用重复显存,因此不能解决“单张卡根本放不下模型”的问题。

2. 张量并行

张量并行把一个矩阵乘法或其他层内计算拆到多张设备上。每张设备只保存部分参数,单卡显存压力降低,但每层计算中都可能发生通信。通信带宽和同步等待会决定实际加速比。

3. 流水线并行与 3D 并行

流水线并行按层切分模型,让数据依次通过不同设备。它减少了单卡的层数和参数存储,但设备之间需要等待,容易出现流水线气泡。实际系统还要调节 micro-batch 和调度方式。

数据并行、张量并行和流水线并行可以组合成 3D 并行。组合并不意味着理论加速简单相乘:模型切分、数据传输、同步和负载不均衡都会产生额外开销,实际收益必须通过端到端测量确认。

九、长上下文与推理优化

1. 长上下文的三条路径

长文本处理通常从三类方向入手:

  • 位置编码扩展:通过位置插值或重新设定频率,让模型适应更长位置范围;
  • 局部窗口:每个 Token 只关注附近窗口,再用少量全局 Token 传递远距离信息;
  • 外部记忆与检索:把历史内容写入向量数据库或其他存储,需要时检索相关片段放入当前上下文。

如果原始模型的上下文窗口不足,最稳妥的工程方案往往是分段处理、保留摘要或检索关键片段,而不是把超长文档一次性塞入模型。不同方案的效果取决于任务是否需要精确跨段引用、全局排序或长距离推理。

2. KV Cache、量化和投机解码

自回归生成每次只新增一个 Token。若每一步都重新计算全部历史 Token,成本会很高。KV Cache 保存已经计算过的 Key 和 Value,使下一步只计算新增部分,从而显著减少重复工作。

量化把权重或激活从 FP16/BF16 压缩到 INT8、INT4 等更低精度,减少显存并提高吞吐。量化后的误差需要在目标任务和硬件上验证,不能只凭位宽变化推断质量。

投机解码使用较小的草稿模型快速提出候选 Token,再由大模型并行验证;验证通过的候选可以一次接受多个,验证失败时回到大模型的正常生成路径。它利用大小模型之间的速度差异,但收益依赖候选接受率和系统实现。

十、课堂里的工程判断

1. 训练优化不是独立技巧清单

数据清洗、架构选择、优化器和并行方式互相影响。数据质量差时,增大模型只能让模型更有效地记住噪声;模型放不进单卡时,数据并行无法解决根本问题;推理延迟由网络和排队主导时,单纯优化矩阵乘法也不一定改善用户体验。

一个可执行的排查顺序是:

  1. 先确认任务目标和输入输出边界;
  2. 再确认数据来源、分布、重复和隐私条件;
  3. 再根据模型规模和硬件选择并行方式;
  4. 最后用真实任务的质量、延迟、显存和成本指标验证优化是否有效。

2. 模型结构与产品目标要对应

Encoder-only、Decoder-only、Encoder-Decoder 的差异首先是信息流和训练目标的差异,不是简单的优劣排序。MoE、稀疏注意力和量化也不是“免费加速”,它们会把成本转移到路由、通信、校准和质量验证上。

真正的工程问题是:在给定的任务、数据、硬件和响应时间下,哪一种结构能提供足够的质量,并且能够被监控、回滚和维护。

十一、复习问题与参考回答

1. 为什么数据清洗会影响模型能力,而不仅仅影响数据规模?

模型学习的是训练分布。重复、低质量或隐私信息会改变高频模式和风险边界,清洗会改变模型最终看到的内容结构。

2. BPE 为什么能缓解未登录词问题?

它把常见字符或子词合并成词表单元,罕见新词仍可以拆成已有片段,因此不必为每个新词单独建立完整词条。

3. 缩放点积注意力中为什么要除以 $\sqrt{d_k}$?

随着维度增大,点积的数值尺度可能增大,Softmax 会变得过于尖锐。缩放有助于保持梯度和训练稳定性。

4. Causal Mask 解决什么问题?

它阻止当前位置读取未来 Token,使训练阶段的并行计算仍然对应推理阶段的自回归生成。

5. 残差连接和 FFN 分别承担什么职责?

残差连接提供信息和梯度的直接通路;FFN 对每个位置进行独立的非线性变换,补充注意力的关系聚合。

6. 数据并行为什么不能解决单卡放不下模型?

数据并行复制完整模型,只把数据分片。单个模型副本仍需放入一张卡;需要拆参数时应考虑张量并行、流水线并行或参数分片。

7. 激活重计算用什么换什么?

它用额外的前向重算换取更低的激活显存占用,适合显存紧张但重算成本可接受的训练场景。

8. 长上下文为什么不只靠扩大窗口?

窗口越长,注意力计算和显存开销越高;很多任务真正需要的是从历史中找到相关信息,因此位置编码、局部窗口和检索可以组合使用。

9. KV Cache 为什么能加速自回归生成?

历史 Token 的 Key 和 Value 已经计算过,缓存后每一步只需处理新增 Token,避免重复计算整段历史。

10. 怎样判断一次优化真的有效?

同时看目标任务质量、吞吐、端到端延迟、显存、稳定性和成本。单项指标变好而其他约束恶化,不能算系统层面的改进。

参考材料

课堂材料:

  • 《大模型架构原理与训练优化详解》课堂转写;
  • Day3.md 课堂摘要。

用于概念核对的经典论文:

  1. Vaswani et al., Attention Is All You Need, 2017。
  2. Sennrich et al., Neural Machine Translation of Rare Words with Subword Units, 2016。
  3. Shazeer et al., Sparsely-Gated Mixture-of-Experts, 2017。
  4. Hoffmann et al., Training Compute-Optimal Large Language Models, 2022。