先手算，再对照实现，后看板：一份调试路线的展开
讲次页实践视角给了作业路线一句话：手算组均值与 GAE、对照实现 PPO 与 CISPO、按八指标搭看板。本篇把三步展开：例题的数字从哪篇来、两版目标只差 sg 与 min 两个写法、看板建起来后每个警报对应的动作。八项指标的定义属暗坑篇，这里只管用。
一、三步路线
作业路线的原话：手算组均值与 GAE 数值例，把 PPO 与 CISPO 目标写成对照实现，按八指标搭自查看板。三步各展开一层。
二、先手算
两串数字是现成习题。
第一串在信用分配篇：四条轨迹采样，奖励一正三负，组均值中心化后正例拿 +0.75，三条负例各 −0.25。GRPO 的组内比较，纸上就能走完。
第二串在稳定更新篇的 GAE：三个时间步的时序差分 0.3、−0.1、−0.1，折算合成 0.1。偏差与方差怎么互换，算一遍就有手感。
反向 KL 也有一例，0.223，在教师学习篇。三道题覆盖 6a 的三条主线，先算题再读推导，顺序别反。
三、再对照实现
PPO 与 CISPO 写成两版目标函数，差额只有两处写法。
一处是 min：PPO 把两个裁剪目标取小，更新永远偏悲观一侧。另一处是 sg：CISPO 停止梯度，夹过的比值只当固定权重用，损失回到 log π 的形状。两种代表之外还有序列级的 GSPO，多轮 agent 场景的第三条路，家谱在稳定更新篇。
对照实现的关键是只改这两处。其余采样、打分、更新全部共用，差异才看得清。
四、后看板
八项指标的定义与警报动作，讲次页实践视角列过三条快速对照，完整拆解在暗坑篇。看板真正的门槛只剩一条：把标量记全。
不用等大规模集群。任何在跑的 GRPO 或 LoRA 小实验，训练器顺手记下 timing、比值分布与熵，就够抄起 L12 p.43 那张表。比盯 loss 曲线的信息量大，这是把 6b 的账记到自己机器上的最便宜一步。
先手算，再对照实现，后看板。三步走完，6a 的公式与 6b 的账就在同一张桌上对上了。
本节论文与规范
本节资料
2023 工程经典（2024 增补）。逐行复现 OpenAI 2019 lm-human-preferences，整理 padding、reward 归一化/白化、KL 惩罚等 N 条实现细节，还发现 PyTorch 与 TF 的 Adam 数值差异会放大早期梯度。每条细节都附消融曲线，展示「论文不写的东西如何决定成败」。把 L11 的 PPO 公式落成可跑代码前，先过一遍这份清单。
2025 前沿。首个开源大规模 hybrid-attention 推理模型，RL 阶段用 CISPO——clip 后的比值 sg 停梯度作固定权重、乘 log 概率；L11 p31 把 PPO 与 CISPO 目标函数并排对照，完整消融见此报告。报告还给出 CISPO 与 PPO-clip 的稳定性、效率对照与百万 token 上下文的工具调用评测。看「算法换形式→系统省资源」的完整链条，读它。
AI 生成 · 仅供参考，与课程方无关。选中正文里的任何一段也能直接问我（解释一下 / 举个例子）。
本详解以 CMU 11-768 AI Agents (Fall 2026) 课程大纲为参考框架独立撰写，AI 辅助起草、人工抽审。 涉及的官方课件、论文与课程材料版权归原所有方，讲义为站内镜像、其余外链原文出处； 观点与文字（除标注引用外）为作者原创。