RedMoon / 训练日志

· 强化学习 / 多智能体 / 学习总结

Day8前的一个小总结

读到 Day7 的两盏灯时,我有一个疑问:每个人只要让自己的灯第一轮亮、第二轮灭就行,这到底和沟通合作有什么关系?

这个问题值得停下来整理。前七天从 Q 表走到 PPO、通信与 QMIX,算法越来越多,但判断一个实验时,首先要看任务要求、每个人知道什么,以及训练信号究竟在评价什么。

1. 两盏灯究竟体现了哪一种合作

Day7 的规则是:两人各控制一盏灯,动作 0=保持、1=翻转;第一轮都亮奖励 1,第二轮都灭再奖励 1,然后终止。每人能看到自己的灯和公共阶段。

因此,正确动作可以直接由这两项局部信息算出。下面是根据环境规则写出的确定性策略,用来说明任务的信息需求:

def correct_action(own_bit, phase):
    # phase=0 要亮,phase=1 要灭;own_bit 是自己的当前灯状态。
    desired_bit = 1 - phase
    return own_bit ^ desired_bit  # 相同则保持,不同则翻转。

assert correct_action(0, 0) == 1
assert correct_action(1, 0) == 0
assert correct_action(1, 1) == 1
assert correct_action(0, 1) == 0

这段规则无需队友的灯、动作或消息。原训练没有把这个函数交给智能体,而是让局部网络通过团队 TD 损失学到相应选择。

这个任务有共同目标,但正确动作的确定不需要在线沟通。 奖励依然耦合:自己做对、队友做错,本轮团队奖励仍为 0;不过双方都存在只看局部信息就能成功的策略。

把 Day6、Day7 的三个实验放在一起,差别就清楚了:

任务 每个人知道什么 需要学到什么 执行时是否需要消息
Day6:最终两灯相同 自己的灯 配套的约定,如双方都点亮;双方都熄灭也有效 不需要
Day7:先都亮、再都灭 自己的灯、公共阶段 按阶段达到已经指定的目标 不需要
Day6:隐藏方向与消息 发送端知道方向;接收端只收到消息 编码与解码配套,把方向信息传过去 在本任务条件下需要

Day6 的灯任务需要形成一致约定,Day7 则由公共阶段指定目标。合作是目标关系,通信是信息传递机制,两者分别判断。

Day7 的成绩说明联合回放、团队目标、参数更新和局部执行接通了。它没有与独立学习等方法做性能对照,因此不能由成功率推断“这个任务必须使用 QMIX”或“QMIX 比其他方法更好”。

2. Day6 的消息通道,学的是哪一部分

方向任务每局等概率生成左或右。发送端看见提示,选择消息 0 或 1;环境原样转交消息;接收端只根据消息选择方向。选对奖励 2,否则奖励 0。

整个过程分成三段:

部分 输入 → 输出 是否学习
发送策略 私有方向 → 消息符号 是,学习怎样编码
消息通道 发出的符号 → 收到的同一符号 否,本例是原样传递
接收策略 收到的符号 → 行动方向 是,学习怎样解码

消息并非天然等于方向。本次学到的贪心协议是“左 → 消息 1 → 左;右 → 消息 0 → 右”。发送端见到什么和接收端收到什么,是两个不同变量。

原实现的采样核心如下。symbol_input 把一个符号转成 one-hot;sender、receiver 是两个独立策略网络,Categorical 按各自概率抽取离散动作。

hint = env.reset()  # 私有提示,只提供给发送端。
sender_obs = symbol_input(hint)
message = int(Categorical(logits=model.sender(sender_obs)).sample().item())
received, first_reward, first_terminal = env.send(message)
receiver_obs = symbol_input(received)  # 这里没有 hint。
move = int(Categorical(logits=model.receiver(receiver_obs)).sample().item())
reward, terminated = env.move(move)

send 返回消息、奖励 0、未终止;move 才给最终奖励并终止。环境知道正确方向,是为了评分,并不意味着接收网络也能看到答案。

离散消息没有梯度,发送端怎么学

本例取 gamma=1、固定 baseline 为 1,两次决策都使用最终奖励减 1 的评分。下方是批量训练的核心:batch 保存真实采样的输入、消息、方向与奖励,每一行来自同一局。

sender_dist = Categorical(logits=model.sender(batch["sender_obs"]))
receiver_dist = Categorical(logits=model.receiver(batch["receiver_obs"]))
logp_message = sender_dist.log_prob(batch["messages"])
logp_move = receiver_dist.log_prob(batch["moves"])
advantage = (batch["rewards"] - 1.0).detach()
sender_loss = -(logp_message * advantage).mean()
receiver_loss = -(logp_move * advantage).mean()
loss = sender_loss + receiver_loss

正确局评分为 +1,错误局为 -1。发送端通过自己实际消息的对数概率获取 REINFORCE 梯度;接收端通过自己实际方向的对数概率学习。普通离散采样及整数消息不把接收端损失直接传回发送端。

共同评分表达这条轨迹相对参照的好坏。某一局失败,可能是编码和解码尚未配套;负评分本身无法判定是谁单独犯错。

怎样确认消息确实被使用

冻结同一套参数,改变接收端收到的信息,Day6 保存结果如下:

消息干预 精确成功率 含义
正常传递 99.3793% 编码和解码配套
收到的消息固定为 0 50% 接收端失去方向区分信息
只在通道中翻转 0/1 0.6207% 消息与原解码规则错开
编码与解码同时交换符号名称 99.3793% 符号变名,整体映射保持

Day6 冻结策略后的四种消息干预及精确成功率

这里的 50% 有明确前提:方向左右均匀,接收端没有任何其他与提示相关的观测或历史。若它选择左的概率为 $p$,成功概率就是 $0.5p+0.5(1-p)=0.5$。方向分布不均匀时,盲猜基准需要重新计算。

正常通信的采样成绩是 499/500,固定消息后是 272/500;后者的 54.4% 是有限样本波动,与精确的 50% 不矛盾。高正确率说明任务做得好,冻结参数后的信息干预进一步说明当前策略依赖什么。

3. 七天的算法可以分成两条路线

学习日 核心变化 和前面内容的联系
Day1 用 Q 表估计动作价值 真实奖励加未来估计,得到 TD 目标
Day2 用神经网络代替 Q 表 当前动作取 gather,目标分支停止梯度
Day3 Actor 直接输出动作分布 Critic 给出相对评分,帮助训练 Actor
Day4 完整回报、baseline、GAE 调节真实奖励与未来预测的使用范围
Day5 PPO 固定一批经历的参照,多轮优化 概率比衡量相对采样策略的变化
Day6 多个策略共同产生一份结果 联合经历、集中评价、局部执行,必要时通信
Day7 将局部动作评分混合为团队 Q 把 Q 学习扩展到联合动作与分散选优

第一条是价值路线:Q-learning → DQN → VDN/QMIX。先给动作评分,再选高分动作。第二条是策略路线:REINFORCE → Actor–Critic → PPO → 多智能体策略更新。直接训练动作分布,价值估计为更新提供参照。

这些方法不是按日替换的升级包。GAE 是优势估计方法,PPO 是策略优化方法,CTDE 是训练与执行的信息安排,通信是额外的信息来源。它们处在不同层次,可以组合。

Day1 的贪心选择也要说清:对 Q 值取最大,是根据估计的长期回报选动作;它不等于只挑眼前奖励最大的动作。训练时还需要探索,否则没有访问过的动作可能一直停留在初值。

回报递推与 TD 更新也要区分:完整的 $G_t=r_t+\gamma G_{t+1}$ 需要后续实际回报;TD 能走一步就更新,是因为用下一状态的价值估计替代尚未走完的未来。Bellman 分解把它们联系起来,但没有让未来真实奖励提前可知。Day1 用过 $r_{t+1}$ 记本步反馈,后文用 $r_t$;下标约定不同,指的都是执行当前动作后得到的奖励。

4. 奖励、价值、优势和损失分别在说什么

沿用长路线奖励 [0,2]、短路线奖励 [1],折扣因子为 0.9 的例子:

量 长路线或起点的例子 回答的问题
即时奖励 第一步 0,第二步 2 这一步发生了什么
未折扣奖励和 2 这一局累计拿多少分
折扣回报 从起点算为 1.8 当前往后的奖励折扣后有多少
当前策略价值 长路线概率为 $p$ 时,$V^\pi(s_0)=1+0.8p$ 当前策略平均能拿多少
Critic 预测 网络输出的一个估计 模型目前认为平均能拿多少
训练目标 MC、TD 或 lambda-return 本次让预测靠近哪个数
优势 目标或回报减价值基线 这次表现相对参照好多少
价值损失 预测与目标的平方误差 预测离本批目标有多远

Critic 从经历中学习期望。即使某条路线回报最大,随机策略仍会走其他路线,状态价值也要把这些可能性算进去。Q-learning 则面向最优动作价值构造 max 目标,不能把它和当前随机策略的 $V^\pi$ 混用。

目标包含预测,平滑不代表准确

MC 使用实际完整回报;一步 TD 使用一步奖励和下一状态预测;n-step 使用多步真实奖励再接预测。GAE 将多个 TD 误差按距离加权组合。

复用 Day4 的另一个教学例子:奖励 [0,4],旧价值 [3,2],gamma=0.9,lambda=0.5,第二步真正终止。

gamma, lam = 0.9, 0.5
delta_1 = 4.0 - 2.0          # 终止,只保留当前奖励。
delta_0 = 0.0 + gamma * 2.0 - 3.0
advantage_1 = delta_1
advantage_0 = delta_0 + gamma * lam * advantage_1
targets = [3.0 + advantage_0, 2.0 + advantage_1]
print(round(advantage_0, 1), targets)  # -0.3, [2.7, 4.0]

起点的一步目标是 1.8,完整回报是 3.6,lambda 目标是 2.7。Actor 读到 -0.3 的相对评分,Critic 拟合 2.7,两者不应互换。

增大 lambda 会让较远的 TD 误差参与更多。在真正终止的完整轨迹上,lambda=1 对应完整回报减基线;若采样段尚未终止,段末仍可能包含价值预测。完整回报也有采样波动,不能把“大 lambda”直接理解成“更准确”。

优势标准化发生在 Actor 使用评分时。例如 [1,3] 标准化后约为 [-1,1],顺序保留但第一个数的符号变了。Critic 的目标仍使用旧价值加原始 GAE,保留回报尺度。

正优势也不是每次更新后的概率保证

单个样本的策略损失会沿优势指示的方向推动实际动作。批量训练时,共享参数同时接收许多样本的梯度,还可能有熵项、价值分支与优化器状态影响,最终某个动作的概率未必按单条样本的符号变化。

softmax 还比较相对 logits:一个动作的原始分数上升,如果另一个上升更多,它的概率仍可能下降。看概率变化,要看整个分布。

5. 数据不变、目标固定和参数冻结,是三件事

DQN/QMIX 的回放池保存交互事实:当时的状态、实际动作、奖励、下一状态、终止标记。训练后重新计算的预测可以变,旧奖励不会变。

PPO 的“旧”专指产生当前批次经历的策略。同一批优化期间固定旧概率、旧价值、优势和价值目标;每轮重新计算当前概率与当前价值。下一批采样后,再换新的参照。

下面用固定的教学数据核对 PPO 四种分支,可独立运行:

import torch

ratio = torch.tensor([1.4, 0.6, 0.6, 1.4])
advantage = torch.tensor([0.4, 0.4, -0.4, -0.4])
surrogate = torch.minimum(
    ratio * advantage,
    ratio.clamp(0.8, 1.2) * advantage,
)
print(surrogate)  # [0.48, 0.24, -0.32, -0.56]

PPO 裁剪的是代理目标中的更新激励。它不会将网络真实的概率比硬锁在 [0.8,1.2],更不会让旧数据无限可用。概率比也补不出过去没有采到的路线,因此有限更新后仍要重新收集经历。

Day5 默认实跑的各批最终 clip fraction 都是 0。这组训练验证了 PPO 流程能够学习长路线,裁剪分支由上面的算例检验;不能把训练成功全部归功于裁剪。

一次训练更新到底在哪发生

操作 实际作用
zero_grad() 清空旧梯度
backward() 计算梯度
optimizer.step() 使用梯度修改在线参数
load_state_dict(...) 复制参数,目标同步另算一次操作
detach() / no_grad() 切断或不记录相应梯度路径
eval() 切换 Dropout、BatchNorm 等模块的运行模式

eval() 不会自动关闭探索,也不禁止优化器更新。冻结评估还需要不执行训练更新,并明确使用随机采样还是贪心动作。

Double Q 的下一动作由在线网络选,目标网络只负责给该动作估值。即使目标网络尚未同步,在线 argmax 变了,重算的目标也可能变化;已经保存的旧目标张量不会自动刷新。

不同的 mask 保护不同的边界

标记 决定什么 需要保留什么
真正终止 terminated 是否去掉未来 bootstrap 终止这一步的真实奖励和损失
外部截断后重置 GAE 是否继续接下一条经历 最后真实观测的价值;不串入新回合
补齐 valid mask 该位置是否参加损失 所有真实转移,包括终止步
合法动作 mask 哪些动作可以被选 当前与下一动作选择的合法集合

任务本身规定“时间到即结束”时,应按有限时域任务建模;只有任务本可继续、被外部采样上限截住时,才按外部截断保留 bootstrap。重新开始后的观测不能冒充旧回合的最后观测。

训练还要求样本对齐:同一条经历的状态、动作和目标一起换序;GAE 先按时间顺序算好再打乱。多智能体则再增加“同局、同时”的要求,不能把两人的不同经历拼成一次联合动作。

6. 多智能体中的“评价”和“知道”,要分开看

CTDE 允许训练模块使用联合信息,同时要求执行策略的输入在行动时真实可得。训练阶段的全局信息可以影响参数,却无法把执行时新出现的、独立随机的隐藏提示提前写进参数。

机制 提供什么 不能自动得到什么
参数共享 多人使用同一套决策规则 队友的私人观测
局部记忆 保留自己此前看到的信息 从未观察到的独立提示
通信 把消息中的信息交给接收者 消息没有承载的答案
集中式 Critic 训练时根据联合信息评价 执行阶段自动可用的全局输入

共享 RNN 参数时,每人仍维护自己的 hidden。回放序列时要用相应历史重建 hidden;只抽提示消失后的最后一步、再清零记忆,就把决定动作的依据丢掉了。

团队评分、反事实优势和局部 utility

团队优势为负,说明本次共同结果低于参照。COMA 进一步固定队友动作,比较“自己的实际动作”与“按自己的策略换动作时的平均团队价值”。

沿用 AA/BB 得 2、AB/BA 得 0 的一步任务,实际发生 AB;角色 0 选 A/B 的概率为 0.9/0.1,角色 1 为 0.5/0.5:

被评价者 固定队友后,自己的 A/B 得分 反事实基线 实际动作优势
角色 0 0 / 2 0.2 -0.2
角色 1 2 / 0 1.0 -1.0

两个负数来自不同条件参照,不是责任百分比,也不要求相加等于团队奖励。真实算法中的反事实 Q 通常由模型估计,不是已经实际走过所有备选动作。

QMIX 的局部 utility 则是构成团队价值的中间量,通过共同 TD 损失训练。即便 VDN 中将一个局部评分加上常数、另一个减去同样常数,总和也不变,所以不能按 utility 大小给队友分功劳。

QMIX 的保证到哪里为止

固定状态后,单调混合要求某个局部评分升高时,团队预测不能下降。于是各人选自己最高分动作,拼起来就能最大化当前模型的团队预测。

VDN 可加表、QMIX 单调非线性表,以及偏好反转的匹配表

匹配表 AA/BB 得 2、AB/BA 得 0 会发生偏好反转:队友选 A 时自己偏好 A,队友选 B 时自己偏好 B。固定局部信息下,标准单调 QMIX 无法精确表示整张表。它仍可能学出始终选择 AA 的成功约定。

因此,“模型能否表达全部价值”“训练是否学出好策略”“执行是否需要通信”分别是表达能力、学习效果和信息需求三个问题。成功走完两轮灯控,不能把三个问题一起回答掉。

7. 看运行结果时,先确认比较的是什么

Day7 训练末 100 局平均奖励为 1.72,冻结贪心评估为 2.0。前者仍保留约 0.1 的 epsilon 探索,后者关闭探索;比较条件不同。

若某状态的贪心动作正确,两动作环境中,以 0.1 概率均匀随机探索,实际选对概率为 $0.9+0.1\times0.5=0.95$。双方独立探索时,一轮共同成功概率为 $0.95^2=0.9025$。这个条件计算解释探索损失,不把实际窗口成绩硬算成该期望。

同样,“路径固定了,为什么还要多次平均”也取决于条件:相同起点、确定性转移和确定性贪心规则下,重复轨迹相同;随机策略、随机起点或随机环境下,多局均值才在估计这些变化带来的平均成绩。一个模型多测几百局,与换训练种子重新训练几次,是不同的检验。

前七天的几类证据可以这样读:

已有观察 它具体支持什么
Day2:Q 从 0.30 更新到 0.50 一条样本的梯度与 SGD 更新正确;不是完整 DQN 训练成绩
Day3:长路线走到第二步终止 策略选择、状态推进和终止处理接通
Day5:精确期望约 1.7975,采样均值 1.8 分布期望与有限样本均值可以不同
Day6:消息固定后精确成功率回到 50% 当前接收策略依赖消息携带的方向信息
Day7:四种起点均走完两轮,另测 500/500 当前确定性小任务中学得策略成功执行

小 loss 表示贴近训练目标;低熵表示选择较确定;小 KL 表示相对本批旧策略变化较小。任务成绩仍要由统一条件下的回报和完整轨迹判断。

回看原来的七篇

七篇中的训练输出提供了本文的实验数值;灯控确定性规则和 PPO 四分支用于解释机制。进一步查阅:PPO 原论文、COMA 原论文、QMIX 原论文。