· 人工智能导论 / Transformer / MuZero / 强化学习 / 自监督学习
人工智能导论 Day7:Transformer、MuZero 与自监督学习
RedMoon · 2026-11-03 整理 · 课堂笔记
这次课堂从两篇经典论文展开:Transformer 用注意力处理序列,MuZero 则把学习到的模型和树搜索结合起来。后续的强化学习例子讨论了智能体如何根据环境反馈调整行动。配套课件以无监督学习为主题,进一步介绍聚类、自监督、对比学习和掩码建模。把这些内容放在一起看,关键是分清三个问题:数据通过什么结构交换信息,训练信号从哪里来,以及模型怎样利用已有知识做决策。
一、Transformer:让序列中的位置直接交换信息
1. 从循环和卷积到注意力
机器翻译需要根据源语言序列生成目标语言序列。循环神经网络(RNN)沿时间顺序更新隐藏状态,当前位置的信息要经过多次状态传递才能影响较远的位置。这样的结构可以处理序列,但长距离信息和梯度需要经过较长路径,而且同一序列的循环计算存在先后依赖。
卷积可以并行计算,但每层通常只直接连接一个局部窗口,要让远处的信息相遇,需要扩大感受野或堆叠多层。Transformer 的自注意力则让一个位置直接读取其可见范围内的其他位置;在不受遮挡的全局自注意力中,任意两个位置之间可以通过一次注意力交互传递信息。[1]
这里的“直接连接”说的是信息路径,不代表长距离关系一定会被学好。标准全注意力需要计算位置之间的两两关系:序列长度为 $n$ 时,注意力矩阵有 $n^2$ 个元素。训练时各位置的计算可以并行,自回归生成时仍需要逐步生成输出。
2. Q、K、V 与注意力权重
设输入表示为矩阵 $X$,通过不同的可学习投影得到查询、键和值:
\[Q=XW_Q,\qquad K=XW_K,\qquad V=XW_V.\]可以把 $Q$ 理解成当前位置要寻找什么,$K$ 是各位置用于匹配的特征,$V$ 是匹配后汇集的内容。单头缩放点积注意力为:
\[\operatorname{Attention}(Q,K,V) =\operatorname{softmax}\left(\frac{QK^\mathsf T}{\sqrt{d_k}}\right)V.\]先由 $QK^\mathsf T$ 计算位置之间的匹配分数,再除以 $\sqrt{d_k}$、经过 Softmax 得到权重,最后对 $V$ 加权求和。缩放使点积在维度较大时不容易把 Softmax 推入过于饱和的区域。
一个简化例子:查询 $q=1$,两个键分别为 $k_1=1$、$k_2=0$,$d_k=1$;两个值分别为 $v_1=(2,0)$、$v_2=(0,2)$。分数为 $[1,0]$,Softmax 权重约为 $[0.731,0.269]$,输出约为 $(1.462,0.538)$。权重体现的是当前查询对候选信息的相对分配,并不是离散的“有关系或没关系”。
3. 多头、位置与前馈网络
多头注意力使用多组投影,分别计算注意力,再把各头结果拼接并映射回模型维度。原论文的 Base 配置中,模型维度为 512、注意力头数为 8,每头的键和查询维度为 64。多头提供了多个可学习的关系子空间,但不能预先断定每个头必然对应某一种固定语法关系。[1]
自注意力本身没有循环顺序,因此输入还需要位置信息。原始 Transformer 使用不同频率的正弦、余弦位置编码,与词元嵌入相加;位置编码让模型能够利用顺序与相对位置。现在也存在可学习位置嵌入、旋转位置编码等其他设计,不必把位置编码等同于某一种公式。
每层还包含逐位置前馈网络、残差连接和层归一化。前馈网络对每个位置分别应用相同的非线性变换,残差连接提供跨子层的信息和梯度通路;这些组件与注意力一起组成完整的网络层。
4. 编码器、解码器与生成
原始 Transformer 是编码器—解码器结构,翻译过程可以拆成三种注意力:
| 位置 | 查询 Q 来自 | 键 K、值 V 来自 | 作用 |
|---|---|---|---|
| 编码器自注意力 | 源序列表示 | 源序列表示 | 让源语言各位置交换信息 |
| 解码器掩码自注意力 | 目标序列已有前缀 | 目标序列已有前缀 | 保证预测时看不到未来目标词元 |
| 编码器—解码器交叉注意力 | 解码器表示 | 编码器输出 | 按当前生成需要读取源序列 |
训练时,目标序列经右移并配合因果掩码,可以并行计算各位置的预测损失。推理时,从起始标记出发,根据已有输出预测下一个词元,反复追加,直到生成结束标记或达到长度限制。
论文使用 Adam、学习率预热、Dropout 和标签平滑等训练手段。WMT 2014 英德训练集约有 450 万句对;原论文的 Transformer Big 在英德与英法测试中分别报告 28.4 和 41.8 BLEU。这些数字属于当时指定数据集和评测条件下的结果,不能直接拿来比较使用其他测试集或指标的系统。[1]
二、强化学习:从即时反馈到长期回报
1. 状态、动作、策略和奖励
强化学习描述智能体与环境的连续交互:智能体在状态 $s_t$ 下选择动作 $a_t$,环境给出奖励 $r_{t+1}$ 并转移到下一状态 $s_{t+1}$。部分可观测时,智能体实际得到的是观察 $o_t$,它可以利用历史观察来构造内部状态。
几个容易混淆的量:
| 量 | 含义 |
|---|---|
| $\pi(a\mid s)$ | 策略在状态 $s$ 下选择动作 $a$ 的概率 |
| $P(s’\mid s,a)$ | 环境在状态 $s$ 执行动作 $a$ 后转移到 $s’$ 的概率 |
| $r_{t+1}$ | 一次交互产生的即时奖励 |
| $V^\pi(s)$ | 从 $s$ 出发、之后遵循策略 $\pi$ 的期望累计回报 |
| $Q^\pi(s,a)$ | 从 $s$ 先执行 $a$,之后遵循策略 $\pi$ 的期望累计回报 |
折扣回报通常写作:
\[G_t=r_{t+1}+\gamma r_{t+2}+\gamma^2r_{t+3}+\cdots,\qquad 0\leq\gamma\leq1.\]$\gamma$ 控制后续奖励的折扣;当 $\gamma=1$ 时,有限回合中可以直接累加各步奖励。围棋也可以只在终局给胜负奖励,中间回合给零,智能体仍需评估此前行动对最终结果的影响。
2. 为什么不能只看眼前一步
设两条路径的奖励依次为:
- 路径 A:先得 $+2$,再得 $-10$,总回报为 $-8$。
- 路径 B:先得 $0$,再得 $+3$,总回报为 $+3$。
当 $\gamma=1$ 时,只按第一步即时奖励贪心会选 A;考虑完整回报则选 B。课堂中的网格寻路用每走一步产生代价来说明同一个问题:合理策略不仅看下一格,还要考虑障碍、后续路径和到达终点的累计代价。
在不同阶段,策略既可以按照概率采样以保留探索,也可以采用确定性选择;“策略输出概率最大”是可选的决策方式,不是所有强化学习过程的统一规则。
三、MuZero:学习一个可用于搜索的模型
1. 从已知规则到学习动力学
AlphaZero 一类方法结合策略价值网络与蒙特卡洛树搜索(MCTS)。在围棋等棋类环境中,搜索可以调用给定规则,从一个合法局面推演下一局面。
MuZero 关注另一种情况:环境的转移规则没有以模拟器形式提供给智能体。它从环境交互中学习一个潜在模型,再使用这个模型进行搜索。MuZero 是基于模型的强化学习方法;这里的“未知规则”指不预先提供环境动力学,不表示训练时不需要与环境交互,也不表示没有动作、奖励或观察等接口。[2]
2. 表示、动力学和预测
MuZero 将模型拆成三个相互配合的函数。用上标表示搜索中的模拟步,而非真实环境时间:
\[s^0=h_\theta(o_1,\ldots,o_t),\qquad (r^k,s^k)=g_\theta(s^{k-1},a^k),\qquad (p^k,v^k)=f_\theta(s^k).\]- 表示函数 $h$:把当前及过去的观察编码成搜索起点的潜在状态 $s^0$。
- 动力学函数 $g$:接收潜在状态和假设动作,给出预测奖励及下一个潜在状态。
- 预测函数 $f$:根据潜在状态给出动作策略 $p$ 和价值估计 $v$。
这个模型学习的是对规划有用的奖励、策略和价值信息,不要求把下一帧像素完整重建出来。内部状态也不必与真实环境的全部变量逐项对应。
3. 搜索如何改进行动
在当前观察构成的根节点上,MCTS 根据网络提供的策略先验、已有价值统计和探索项选择分支;到达待扩展节点后,调用潜在动力学与预测函数,再把评估结果沿路径回传。重复多次后,根节点各动作的访问次数形成搜索策略 $\pi$,供真实行动选择与训练使用。
需要区分三种结果:网络先验 $p$ 是搜索前的动作偏好;访问次数形成的 $\pi$ 是有限搜索后的分布;$v$ 是对未来回报的价值估计。搜索目标通常是访问次数分布,而不是必然为单一动作制作的独热向量。网络训练同时利用奖励、价值和策略三个目标,例如:
\[\mathcal L =\sum_k\left( \ell_r(r^k,u^k)+\ell_v(v^k,z^k)+\ell_p(p^k,\pi^k) \right)+c\|\theta\|_2^2.\]其中 $u^k$、$z^k$、$\pi^k$ 分别表示训练用的奖励、价值和搜索策略目标;实际价值目标可以结合后续真实奖励与价值估计构造。环境交互产生轨迹,搜索改进行动分布,轨迹及搜索结果又用于更新网络。
课堂讨论了一个关键问题:如果搜索没有发现远处的好走法,网络会不会跟着不完整的搜索结果学习?确实存在这种可能。增加搜索预算、加入探索并反复更新网络,可以扩大考察范围;有限搜索和近似模型本身并不保证找到全局最优。原论文在棋类实验中使用了根节点探索噪声,并在不同任务中采用不同搜索预算。[2]
4. 实验结果与现实场景
MuZero 原论文在围棋、国际象棋、将棋和 57 款 Atari 游戏上评估方法。棋类实验中,它在不预先获得游戏动力学规则的情况下达到与 AlphaZero 相当的表现;Atari 实验展示了学习模型与搜索在视觉游戏上的效果。这些结果来自各任务的训练与评估,不能理解为同一组参数直接零样本掌握所有环境。[2]
课堂还以机器人语义导航为例,讨论语言模型与强化学习的结合:语言模型可以帮助理解“去某个地点”这样的指令、分解任务并提供先验;定位、环境感知、动作控制和执行反馈仍要与具体系统配合。世界模型可以提供对可能后果的预测,实际可靠性仍取决于预测误差、环境变化和验证方式。
四、课件延伸:无监督学习在寻找什么
有监督学习使用输入与目标标签构成的样本,常见任务包括分类与回归;无监督学习在没有对应人工任务标签的条件下,从数据中寻找结构,例如聚类、降维和频繁模式。强化学习则以交互产生的奖励组织决策训练。这是从监督信号角度划分的三种常见学习方式。
1. K-means:交替分配与更新
K-means 将样本划分到 $K$ 个簇,最小化样本到所属中心的平方距离之和:
\[J(C,\mu)=\sum_{i=1}^{m}\left\|x_i-\mu_{c_i}\right\|_2^2.\]计算过程是:先初始化 $K$ 个中心;将每个样本分给距离最近的中心;对每个簇重新计算样本均值作为中心;重复分配和更新,直至达到停止条件。这里是选择距离最小的中心,课件中的分配公式多出的负号不应带入实现。
例如一维样本为 $[1,2,8,9]$,初始中心取 $1$ 和 $9$。分配后得到 $[1,2]$ 与 $[8,9]$,更新中心为 $1.5$ 和 $8.5$,此时平方距离之和为 $1$。不同初始化可能得到不同结果;算法优化的是簇内平方距离,不保证获得全局最优,也不适合把所有形状和密度的簇都当作球形簇处理。
2. PCA、t-SNE 与关联规则
主成分分析(PCA)先对数据中心化,再寻找相互正交、依次保留较大方差的线性方向。选择前 $k$ 个主成分可以得到低维投影;在常见的欧氏重建误差条件下,前 $k$ 个主成分对应最小线性重建误差。方差大不自动等于对所有下游任务最有用,特征量纲也会影响结果。
t-SNE通过比较高维与低维空间中的邻近概率,将数据投影到二维或三维以观察局部结构。图上簇间距离、簇的面积及全局布局会受超参数和随机性影响,不能直接当作高维距离的精确刻度。
课件将线性判别分析(LDA)列在降维例子中;分类意义上的 LDA 利用类别标签寻找区分方向,通常属于有监督降维,与 PCA 的无监督目标不同。
FP-Growth通过 FP-tree 压缩交易记录并挖掘频繁项集。若四笔交易中有两笔同时包含牛奶和面包,那么该项集的支持度为 $2/4=0.5$;若其中三笔包含牛奶,则规则“牛奶 → 面包”的置信度为 $2/3$。频繁共现或较高置信度描述的是数据关联,不自动证明因果关系。
3. 自编码器:用重建学习表示
自编码器由编码器 $f$ 和解码器 $g$ 构成:
\[z=f_\theta(x),\qquad \hat x=g_\phi(z),\qquad \mathcal L_{\mathrm{rec}}=\|x-\hat x\|_2^2.\]编码器把输入映射成表示,解码器尝试重建输入。去噪自编码器则对输入施加噪声,再以原始数据为目标,让表示在重建中学习有用结构。普通自编码器可以用于表示与压缩;若要从潜在空间稳定采样生成新数据,还需要相应的生成式建模或分布约束。
五、从无监督到自监督
自监督学习利用数据内部的关系构造训练目标。目标不是人工逐条写出的类别答案,而是可以从数据或其变换中获得:例如根据前文预测下一个词元、恢复被遮挡的内容,或者判断两种视图是否匹配。
常见流程是先通过代理任务预训练,再将表示用于下游任务。下游既可以冻结编码器,也可以用带标签数据微调;预训练不要求任务标签,不等于数据生产、筛选或下游评估中完全没有人工参与。
1. 如何评估表示
| 方法 | 如何使用预训练模型 | 主要观察 |
|---|---|---|
| K 近邻评估 | 冻结编码器,用已有标签样本的特征作近邻投票 | 相近表示能否对应相近类别 |
| 线性评估 | 冻结编码器,只训练后接的线性分类器 | 特征是否便于线性区分 |
| 部分或全部微调 | 在下游任务数据上更新部分或全部模型参数 | 表示适配具体任务后的效果 |
课件的近邻示意中,绿色样本最近的三个邻居多数为红色,最近的五个邻居多数为蓝色,因此 $k=3$ 与 $k=5$ 的判断不同。这里的 K 近邻评估要使用参考样本的标签,与无标签的 K-means 聚类不是同一个算法。比较模型时还应保持训练集、测试集和评估协议一致。
2. 代理任务与学习目标
自然语言中的代理任务包括下一个词元预测、掩码词元预测和句子关系预测;视觉中可以通过图像增强、实例判别、遮挡重建、图像上色或几何变换构造目标。不同任务会强调输入的不同属性,因此代理任务、增强方式与目标应用需要共同考虑。
六、对比学习:哪些视图应该接近
1. 从正负样本到损失函数
以图像实例判别为例,对同一张图片做两次随机裁剪或颜色扰动,得到两个相关视图作为正样本;批次中其他图片的视图可作为负样本。编码器提取表示,训练目标让正样本相对于负样本更相似。
给定查询 $q$、正样本 $k^+$、负样本 $k_j^-$ 与温度 $\tau>0$,一种常见对比损失为:
\[\mathcal L_q=-\log \frac{\exp(\operatorname{sim}(q,k^+)/\tau)} {\exp(\operatorname{sim}(q,k^+)/\tau) +\sum_{j=1}^{K}\exp(\operatorname{sim}(q,k_j^-)/\tau)}.\]分母包含正样本和负样本。温度控制归一化分布的尖锐程度;训练效果还取决于采样和增强,温度并非越小越好。实例级负样本也可能与当前图片属于同一语义类别,因此“不同图片”不总等于“语义不同”。
2. SimCLR 与 MoCo
课件还提到了几条早期路线:DeepCluster 利用特征聚类生成伪标签,实例判别将不同图片视为不同实例,CPC 则用对比目标预测上下文与未来表示之间的关系。它们共同关注表示学习,但目标构造并不相同。
SimCLR对同一图片生成两个增强视图,经编码器与非线性投影头得到对比表示,使用批次中的其他视图构成候选;论文强调增强组合、投影头及训练批次等设置对结果的影响。[3]
MoCo把对比学习看成字典查询:查询编码器生成 $q$,另一编码器生成候选键,队列保存来自近期批次的键。键编码器由查询编码器参数的指数移动平均更新,使队列较大时,不同时刻得到的特征仍具有较好的一致性。[4]
二者都学习区分匹配关系,主要区别在候选集合与编码器更新方式:SimCLR 主要使用当前批次,MoCo 使用动量编码器与队列。增强操作应保留任务需要的信息,例如图像方向在某些医疗或文字任务中本身就可能影响含义。
3. 不显式依赖负样本的方法
如果只要求所有正样本表示相同,一个恒定输出就可能满足目标,这叫表示坍塌。课件介绍了几种不同的设计:
| 方法 | 核心设计 |
|---|---|
| SwAV | 一个视图预测另一视图的聚类分配,利用在线原型和分配约束学习表示 |
| BYOL | 在线网络预测另一增强视图的目标网络表示,目标网络通过移动平均更新 |
| SimSiam | 共享编码器,使用预测头与停止梯度,学习两个视图的表示 |
| DINO | 学生匹配教师的输出分布,教师参数由学生参数的移动平均更新 |
这些方法的结构和目标并不完全相同。尤其是教师—学生描述的是目标如何产生与传递,不能仅凭两个分支就断言方法采用了显式正负样本对比损失。[5][6][7]
DINO 展示了自监督 Vision Transformer 表示中的语义结构;DINOv2 结合数据筛选与自监督训练,获得可迁移的视觉特征。是否需要微调、能达到什么效果,取决于具体下游任务与评估条件。[7]
4. CLIP:从图像—文本配对获得监督
CLIP 将图像与文本分别编码,在一个批次内计算图文相似度矩阵,让配对图文的相似度相对于其他组合更高,并从图像到文本、文本到图像两个方向训练。[8]
零样本分类时,可以把候选类别写成文本提示,例如“一张猫的照片”和“一张狗的照片”,分别与输入图片比较相似度,选择较匹配的描述。这里的“零样本”指目标分类任务没有额外的带标签训练样本,并不表示模型在预训练时没有见过任何相关图文信息。图文配对可能来自网页文本,因此它是利用自然语言监督的跨模态训练,而不是完全没有人类产生的信息。
七、掩码与预测:从语言走向图像
1. GPT 与 BERT 的预测方向
GPT 式自回归语言模型使用因果掩码,根据前文预测下一个词元。对词元序列 $x_1,\ldots,x_T$,常见训练目标为:
\[\mathcal L_{\mathrm{AR}} =-\sum_{t=1}^{T}\log p_\theta(x_t\mid x_{<t}).\]GPT-1 采用无标签文本预训练,再用有标签的下游任务数据微调;原论文还讨论了在微调时保留语言模型辅助目标。因果注意力掩码决定可见范围,与 BERT 在输入中遮挡部分词元的掩码语言建模不是同一个操作。[9]
BERT 使用编码器结构,通过掩码语言建模利用左右文预测被选中的词元。原始 BERT 选取 15% 的词元作为预测目标;在被选中的位置中,80% 替换为 [MASK],10% 替换为随机词元,10% 保持原样。原始预训练还包括下一句预测任务。[9]
2. 视觉任务为什么有不同设计
图像通常划分为小块(patch)后再输入 Vision Transformer。相邻像素往往相关,图像块又没有天然的文本词表,因此视觉掩码任务需要先回答:被挡住的区域应该预测成什么?
| 方法 | 遮挡后预测什么 | 设计特点 |
|---|---|---|
| BEiT | 离散视觉词元 | 使用图像分词器生成预测目标,模型预测被遮挡块对应的词元 |
| iBOT | 教师网络给出的表示分布 | 在线教师作为分词器,结合图像级与局部块的自蒸馏 |
| SimMIM | 被遮挡区域的像素 | 使用简单预测头与像素回归目标 |
| MAE | 被遮挡图像块的像素 | 编码器只处理可见块,轻量解码器重建遮挡块 |
BEiT 与 iBOT 展示了离散词元和在线教师目标两条路线;SimMIM 与 MAE 则表明像素回归也能成为有效的预训练目标。[10][11]
MAE 原论文采用较高的随机遮挡比例,典型设置为 75%。编码器不处理被遮挡的块,解码器再结合可见表示和掩码词元重建像素;原方法的重建损失计算在被遮挡区域。较少的编码器输入降低了该阶段的计算量,具体速度收益仍取决于模型、实现与硬件。[11]
八、把几种方法放回同一张图景
| 问题 | 代表方法 | 学习或计算的重点 |
|---|---|---|
| 序列中如何交换信息 | Transformer 注意力 | 根据查询与键的匹配汇集值 |
| 没有标签时如何发现数据结构 | K-means、PCA、FP-Growth | 划分样本、寻找投影或频繁共现 |
| 如何从数据构造训练信号 | 自回归、掩码、对比及自蒸馏 | 预测词元、重建内容或对齐表示 |
| 预训练表示能否用于任务 | 近邻、线性评估、微调 | 在不同参数更新条件下比较下游表现 |
| 如何根据未来后果选择动作 | 强化学习、MuZero | 利用奖励学习策略,并可结合模型搜索 |
Transformer 是一种网络架构,自监督描述训练信号的来源,强化学习描述通过交互回报学习决策的过程。三者可以组合:同一 Transformer 可用于自回归或掩码预训练,学到的表示也可以作为智能体的一部分;是否使用搜索、是否学习环境模型,需要再看具体算法。
参考资料
课堂分享依据《深度学习经典论文与强化学习算法分享》转写;无监督、自监督及视觉预训练内容依据《第3章 无监督学习》课件。注意力、路径回报、K-means 和支持度例子为便于理解的补充计算。
- Vaswani 等,Attention Is All You Need,2017。
- Schrittwieser 等,Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model,2019 / Nature,2020。
- Chen 等,A Simple Framework for Contrastive Learning of Visual Representations,2020。
- He 等,Momentum Contrast for Unsupervised Visual Representation Learning,2019 / CVPR,2020。
- Caron 等,Unsupervised Learning of Visual Features by Contrasting Cluster Assignments,2020。
- Grill 等,Bootstrap Your Own Latent;Chen、He,Exploring Simple Siamese Representation Learning。
- Caron 等,Emerging Properties in Self-Supervised Vision Transformers;Oquab 等,DINOv2: Learning Robust Visual Features without Supervision。
- Radford 等,Learning Transferable Visual Models From Natural Language Supervision,2021。
- Radford 等,Improving Language Understanding by Generative Pre-Training,2018;Devlin 等,BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,2018 / NAACL,2019。
- Bao 等,BEiT: BERT Pre-Training of Image Transformers;Zhou 等,iBOT: Image BERT Pre-Training with Online Tokenizer。
- Xie 等,SimMIM: A Simple Framework for Masked Image Modeling;He 等,Masked Autoencoders Are Scalable Vision Learners。