强化学习
强化学习入门的学习笔记与阶段总结:Day1 从奖励与回报讲到 Q-learning、SARSA 和悬崖行走;Day2 拆解 DQN 的一次更新;Day3 通过两条路线理解 Actor–Critic;Day4 从整局 REINFORCE 连接 baseline、Critic 和 GAE;Day5 接通 PPO 的采样、更新与冻结评估;Day6 进入多智能体合作训练、反事实评分与通信;Day7 从 VDN 到 QMIX,接通价值分解、联合回放与完整合作训练;Day8 用连续动作实验拆解 MADDPG 风格的集中式 Critic、局部 Actor 与软同步;Day9 用消失提示任务理解循环 Actor、本回合 hidden、完整序列重建与时间梯度;Day11 通过 COMA 训练,把团队奖励接到候选动作 Q、个体反事实优势、多步回报和分散评估;Day12 沿延迟通信任务,区分信息上限、固定策略干预、重新训练消融、多随机种子与协议兼容性。《Day8前的一个小总结》集中辨明合作、通信、价值评价与实验结果之间的关系。
12 篇
-
第 1 章
Day1 · 从奖励、回报到 Q-learning 与 SARSA
从奖励与回报出发,拆解 Q 表更新,并走完一条悬崖环境轨迹。
-
第 2 章
Day2 · 从 Q 表到 DQN 的一次更新
通过一次可手算的网络更新理解 gather、TD target、梯度与目标网络同步。
-
第 3 章
Day3 · 从策略概率到 Actor–Critic
从动作概率与状态价值出发,理解优势信号、单步更新和完整轨迹。
-
第 4 章
Day4 · 从 REINFORCE 到 GAE
从整局回报与策略梯度出发,用手算、关键代码和训练曲线连接 baseline、Critic 与 GAE。
-
第 5 章
Day5 · PPO:从概率比到训练闭环
用概率比、正负优势裁剪和关键代码连接 PPO 的采样、固定目标、多轮更新与冻结评估。
-
第 6 章
Day6 · 多智能体:从合作训练到通信
从联合动作、集中式价值与局部策略,到真实合作训练、反事实评分和消息干预,连接多智能体学习的代码与结果。
-
第 7 章
Day7 · 价值分解:从 VDN 到 QMIX 合作训练
从局部动作评分到团队价值,拆解单调混合、联合回放和 Double Q,并用两轮灯控训练解释分散执行与评估结果。
-
阶段总结
Day8前的一个小总结
从两盏灯为什么不需要通信讲起,串起前七天的回报、优势、PPO、消息通道和 QMIX,区分模型评价与实际成绩。
-
第 8 章
Day8 · MADDPG:连续动作与集中式评分
用两轮连续动作协调实验拆解 MADDPG 风格的联合回放、集中式 Critic、局部 Actor、动作梯度与软同步,并把训练数据和分散评估放在同一条证据链上。
-
第 9 章
Day9 · 记住消失的提示:循环 Actor 与完整序列训练
用一个提示消失后的四步合作任务,拆开循环 Actor 的 hidden、完整序列重建、GAE、逐角色 PPO、detach 与分散评估。
-
第 11 章
Day11 · COMA:从团队奖励到个体反事实优势
从同一团队奖励下的相反个体评分出发,拆开 COMA 的候选动作 Q、实际动作监督、策略加权参照与梯度路径,再连接多步回报和分散评估。
-
第 12 章
Day12 · 让实验结果只支持它真正证明的结论
沿四步延迟通信实验,拆开信息上限、冻结消息与记忆干预、重新训练消融、多随机种子和交叉配对,让每项结果对应准确的结论。