RedMoon / 训练日志

· GPT-1 / GPT-2 / GPT-3 / Transformer / Zero-shot / Few-shot

Day7:浅尝 GPT-1 至 GPT-3——从预训练+微调到上下文学习的演进

Day7 封面:GPT 三代演进侧视图

浅尝 GPT-1 至 GPT-3

读个论文放松一下,尝一口gpt1-gpt3三篇论文,感觉又是几篇看了也学不会,学会了也复刻不了,复刻了也还是学不会的论文……听了李沐大佬的讲解感觉也只是一知半懂,总给我一种里面很多只是都是“只需要知道概念,具体怎么做你别管”的感觉。想复刻也无从下手,“Dataset And Money is All You Need”了,大败。


0. 三个版本都写了些什么?

世代 论文 标题怎么读 争的核心问题
GPT-1 Improving Language Understanding by Generative Pre-Training (2018.06) 用生成式目标做理解 标注少、目标不统一、架构各搞一套 → 能否先无监督学通用表示,再少改动迁移?
GPT-2 Language Models are Unsupervised Multitask Learners (2019.02) 语言模型本身就是多任务学习器 每个任务都要有监督数据、换头换结构 → 能否让自然语言本身描述任务,模型零样本去做?
GPT-3 Language Models are Few-Shot Learners (2020.05) 少样本就能学 微调仍要上千样本、梯度与部署成本高 → 能否不改权重,只靠上下文里的几个例子就学会?

三代演进总览


1. GPT-1:生成预训练 + 判别微调

1.1 核心问题

原文要点:“不知道该用什么目标函数、子任务差别较大 → 半监督/自监督+监督微调;Transformer 语义提取 > RNN。”

原文点出两大痛点—— (1) 目标函数该选什么才能从无标注语料学到可迁移的语言能力; (2) 下游形态太分裂(蕴含要比两句、问答要文档+问题+候选答案、相似度要成对回归、分类只要单句)。

1.2 无标注预训练:怎么算(核心算式)

给定无标注语料 $\mathcal{U} = {u_1,\dots,u_n}$,用自回归语言建模最大化

\[L_1(\mathcal{U}) = \sum_i \log P(u_i \mid u_{i-k},\dots,u_{i-1}; \Theta) \tag{1}\]

即:用前 $k$ 个词预测第 $i$ 个词($k$ 为上下文窗口,GPT-1 设为 512)。 所用模型为 Transformer 解码器(decoder-only),原文明确对比 RNN,取 Transformer 的原因是并行+长程语义提取更强:

\(h_0 = U W_e + W_p\) \(h_l = \text{transformer\_block}(h_{l-1}),\ \forall l\in[1,n],\ n=12\) \(P(u) = \text{softmax}(h_n W_e^{T})\)

其中 $U$ 为 token 序列(one-hot),$W_e$ 为 40k BPE 的 token 嵌入,$W_p$ 为可学习位置嵌入,$W_e$ 在输入与输出端权重共享。块内为 GELU + 0.1 dropout + 残差,12 层 × 12 头 × 768 维 × FFN 3072,约 117M 参数,BooksCorpus 困惑度 18.4。

类比:把句子读成“完形填空”的无限版——永远用已读的左边去猜下一个词是谁;$L_1$ 就是在统计“猜对的 log 概率”越堆越高。

1.3 有标注微调:怎么用

原文要点:

$P(y\mid x^1,\dots,x^m)=\text{softmax}(h_l^{m} W_y)$,$L_2(\mathcal{C})=\sum\log P(y\mid x)$,$L_3=L_2+\lambda L_1$

  • $h_l^{m}$ 是最后层在序列最后一个 token 上的隐藏状态(而非池化),$W_y$ 为任务专属线性头(唯一新增参数)。
  • 联合目标 $L_3 = L_2 + \lambda L_1$ 中 $\lambda=0.5$,保留语言建模辅助目标能显著提升泛化与收敛(Table 4 对照显示,加入后多任务平均提升)。

1.4 任务感知的输入转化

GPT-1 输入转化:Transformer 架构与任务感知的输入拼接(论文 Figure 1 裁切)

原图解读(对应论文 Figure 1 右半):GPT-1 将不同任务的结构化输入拼成连续 token 流:分类直接接 [CLS],蕴含用 [SEP] 拼 premise+hypothesis,相似度双向各拼一遍再逐元素相加,问答/常识推理把 文档 [SEP] 问题 [SEP] 答案候选 逐个候选拼一条流,用 softmax 在候选间归一。GPT-1 与 BERT-base 的参数规模均在 110M 量级,架构则不同。GPT-1 使用生成式解码器,论文报告其在 12 项任务中的 9 项超过当时的最佳结果(Stories Cloze +8.9%、RACE +5.7%)。

  • 数据集:预训练 BooksCorpus(7000+ 未出版小说,跨体裁,长连续段落,保留长依赖);微调覆盖 12 任务:NLI(SNLI/MultiNLI/QNLI/RTE/SciTail)、QA/常识(RACE/Story Cloze)、相似度(MRPC/QQP/STS-B)、分类(SST-2/CoLA)。
  • 优化:Adam,峰值 lr $2.5\times10^{-4}$,前 2000 次更新线性 warmup,之后余弦衰减;batch 64,100 epoch,非偏置与非增益权重的正则化系数为 0.01(论文 §4.1)。

2. GPT-2:把模型做更大,让任务自己从文本里长出来

GPT-2 将任务的表达方式转向文本条件:能不能直接用文本告诉模型要做什么?

2.1 把任务写进输入

GPT-1 的任务转化仍需为每类任务设计拼装逻辑与微调轮次(主要是怕到GPT2发现模型规模上来了还比不过BERT);GPT-2 的新视角是:语言建模的全局最优也是所有条件任务的最优子集——若 $p(x)=\prod p(s_i\mid s_{<i})$ 足够强,则 $p(\text{answer}\mid \text{document, question})$ 自然已在 $p(x)$ 中,无需显式监督“哪个符号是要预测的输出”。问题从“设计什么监督头”变为“能否用文本条件化把任务本身表述出来”。

Prompt 自然表述的来源

这个图是 prompt 的来源——论文 Figure 2/Figure 3 即展示了将 QA/翻译/摘要写成自然语句序列的思路,这正是后来 prompt 的雏形。

2.2 架构:最大区别是“预归一化 + 残差缩放 + Byte-BPE”

维度 GPT-1 GPT-2
模型族 117M 单点 117M / 345M / 762M / 1.5B 四档
上下文 512 1024
词表 40k BPE 50,257 Byte-BPE(可逆,任意 Unicode 可编码为 bytes,压缩效率+通用性兼顾)
归一化 后置 LN(post-norm) Pre-LN(每子块输入处)+ 末端再 LN
残差初始化 常规 缩放 $1/\sqrt{N}$($N$ 为残差层数,训深模型更稳)
适配 微调 零样本,零梯度,零新参数

GPT-2 零样本随规模提升

原图解读:论文 Figure 1 显示,随着体积从 117M→1.5B,CoQA/WMT-14/Summarization/Natural Questions 的零样本性能近似对数线性抬升——这张图是 GPT-2 最有说服力的证据。

2.3 数据:Common Crawl 与 Reddit 的区别

common crawl (公开网页) 与 reddit(新闻聚合):

  • Common Crawl = 定期全网抓取的原始网页镜像。
  • WebText(论文实际所用) = 从 Reddit 获至少 3 个 karma 的外链中抽取的网页(去维基、清洗后约 800 万篇/40GB)。用 Reddit 分数做人类筛选的质量代理,刻意不直接用 Common Crawl,以换多样性与质量。

2.4 实验结论

  • Table 3 中,1542M 模型的 LAMBADA 正确率为 63.24%、WikiText2 困惑度为 18.34;117M 模型对应 45.99% 和 29.41。最大模型在 7/8 语言模型基准上达到论文报告的零样本 SOTA;
  • CoQA 55 F1(不看 12.7 万训练样本)持平 3/4 有监督基线;
  • 翻译和摘要的零样本结果低于当时有监督方法;同一模型族随规模扩大呈现改善趋势。后文的 GPT-3 进一步测试了上下文示例带来的少样本适配。

3. GPT-3:把示例放进上下文

GPT-3 重点考察:参数保持不变,只给几条示例,模型能在多大程度上适应新任务?

3.1 核心问题(逐句精读)

(1) 每个新任务都要大量标注 → (2) 模型越大、数据越窄,越易学到虚假相关(过拟合)→ (3) 人类不需要大数据就能学新任务。

① fine-tuning 范式的数据与梯度成本随任务数线性增长,部署与多任务混用不便; ② 窄分布+强表达放大虚假相关与泛化风险; ③ 人类凭几句说明+少数示例就能掌握新任务,机器也应具备类似的任务无关适配力。 GPT-3 的回答是:scale 本身就是归纳偏置,配合恰当的上下文形式,in-context learning 随规模平滑涌现。

少样本学习的定义

原图解读:Figure 2.1 把 Fine-tuning(改权重)与 Zero/One/Few-shot(只给上下文)分开。上下文学习改变的是模型当下接收的输入,权重不在任务示例上更新。

3.2 架构:与 GPT-2 的异同

GPT-3 模型族

原图即论文 Table 2.1 的 8 模型族(125M~175B,层数 12~96,$d_{model}$ 768~12288),下面是两条规律:

  • Sparse Transformer 式交替稀疏注意力(dense + locally banded sparse),为撑大上下文到 2048 且控制计算;
  • $d_{ff}=4d_{model}$、头维 128 封顶、批量↑则学习率↓的训练铁律。

三代架构对比

3.3 训练数据:从三词到四步管线

GPT-3 数据管线

占比 数据集 规模 训练期感知 作用
60% Common Crawl(过滤后) 410B tokens 0.44 epoch 广度
22% WebText2 19B 2.9 epoch 质量代理的高分 Reddit 网页
8% Books1 12B 1.9 epoch 长依赖
8% Books2 55B 0.43 epoch 长依赖
3% Wikipedia 3B 3.4 epoch 事实性
  • 过滤:以高质量语料为正例训二分类器筛 Common Crawl;
  • 去重:LSH 模糊去重(文档级),与 Common Crawl 去重及样本间去重;
  • 混合:按上表加权采样,而非等比堆砌;
  • 瑕疵:论文自述污染过滤存在 bug(部分评测集与训练重叠),为后续工作敲警钟。

3.4 评估协议

  • 分类/二选一:把标签改写成更具语义的词(True/False 而非 0/1),按候选补全的似然度择优(像做选择题);
  • 自由生成:beam=4, \alpha=0.6 的束搜索,按数据集用 F1 / BLEU / 精确匹配计分。
  • 评测覆盖 42 个以准确率计分的 benchmark(语言建模、完形、问答、翻译、常识、SuperGLUE 等),每项均对比 Zero / One / Few-shot(K=32 内) 三档。

3.5 关键结果:四类曲线解读

趋势:上下文学习随规模更陡峭(论文 Figure 1.2 裁切)

解读 1 · 论文 Figure 1.2 词内符号去除:模型越大,上下文学习曲线越陡——大模型更会“看例子学”,小模型即便给示例也提升有限。

GPT-3 性能随算力平滑缩放(论文 Figure 3.1 裁切)

解读 2 · 论文 Figure 3.1 损失缩放:横轴是训练计算量,纵轴是验证交叉熵损失。论文报告的是损失随计算量变化的幂律趋势。图中的模型参数规模也在变化,并非固定模型后只增加数据的实验。

GPT-3 训练算力:8 模型 300B tokens 的计算量(论文 Figure 2.2 裁切)

解读 3 · 论文 Figure 2.2 训练算力:8 种模型各训练 300B tokens(Table 2.1),175B 模型需要的计算量最高。结合 Figure 1.3 看,模型扩大时,聚合评测中的 few-shot 表现也随之提高。

四种范式对比:微调 vs 零/单/少样本

自绘对照 2 · 范式对比:对应论文 Figure 2.1 的微调(改权重) vs 零/单/少样本(不改权重、只给上下文)四格,是第 1 条解读的方法论底色。

3.6 局限性

(1) 文本生成弱 (2) 不能双向 (3) 词均匀加权 (4) 无物理接地 (5) 是否真正学会存疑 (6) 训练贵 (7) 不可解释。

评估问题 论文中的表现 补充
文本生成还是比较弱 长文易重复/自相矛盾/离题 采样与束搜索已用,仍难稳态
不能反向看(解码器) 自回归单向,无双向注意力 比较/回读/抽取式任务天然吃亏
每个词均匀预测下一个词 token 加权均等,不区分实体/事实重要性 改进方向:目标加权或显式记忆
没见过真实物理交互 无视觉/物理/交互接地 后续多模态与具身的动机
不确定是不是从头开始学 是识别还是真正学习未定 是论文最诚实的开放问题之一
训练起来很贵 175B 推理极贵、不便部署 论文即指出成本与可及性风险
模型无法解释 难解释、校准差、继承数据偏见 §6 偏见分析:职业/种族/宗教刻板印象显著

4. 串起三代

维度 GPT-1 (2018) GPT-2 (2019) GPT-3 (2020)
范式 预训练+微调(改权重) 零样本条件生成(不改权重) 少样本上下文学习(不改权重,强 few-shot)
规模 117M, 12L, 512 ctx, 40k BPE 1.5B, 48L, 1024 ctx, 50k Byte-BPE, Pre-LN 175B, 96L, 2048 ctx, 8模型 300B tokens
数据 BooksCorpus 7000册 WebText 800万篇 40GB CommonCrawl+WebText2+Books+Wiki 混合
语言建模目标 $L_1$ 自回归 同左 同左(单一目标,无任务特定辅助)
下游适配 任务转化+线性头,全参微调 文本条件化,零梯度 演示凑进上下文,零梯度
代表成绩 9/12 SOTA 7/8 LM 零样本 SOTA 少样本逼近/超越微调 SOTA(LAMBADA、QA 等)
遗留问题 仍需标注与微调 预训练未充分,弱于监督 贵、不可解释、长文弱、污染、未对齐

三代模型的区别也体现在任务怎样进入模型:GPT-1 在预训练后微调,GPT-2 用文本条件描述任务,GPT-3 再把示例放进上下文。参数规模在变,使用模型的方法也在变。


5. 小的记忆点

  1. GPT-1 学表示再微调;GPT-2 让任务在文本中自然出现,零样本做;GPT-3 让任务在上下文中示范,少样本做。
  2. 三代公式:$L_1$ 自回归、$L_3=L_2+0.5L_1$(仅 GPT-1)、$p(x)=\prod p(s_i\mid s_{<i})$。
  3. 三代架构增量:12L→48L→96L;512→1024→2048 ctx;后置 LN→Pre-LN+末端 LN→交替稀疏;40k→50k Byte-BPE。
  4. 三代数据增量:BooksCorpus→WebText→300B 混合(60%CC);过滤器、LSH 去重、加权采样。
  5. 三代适配增量:全参微调→文本条件零样本→上下文少样本(K≤32)。
  6. 三代评估跃迁:12任务全量微调评估→0样本语言模型8基准→42准确率基准的0/1/少样本三档。

附 · 资料下载

本篇配套的论文原文(GPT-1/2/3 三篇,12+24+75 页)及图文笔记可直接下载。

论文原文(PDF)

  • gpt1_2018.pdf(Improving Language Understanding by Generative Pre-Training, OpenAI 2018, 12 页)
  • gpt2_2019.pdf(Language Models are Unsupervised Multitask Learners, OpenAI 2019, 24 页)
  • gpt3_2020.pdf(Language Models are Few-Shot Learners, NeurIPS 2020, 75 页)

图文笔记

  • Day7.md(本篇完整 Markdown,含全部插图引用)