稳定更新：旧样本的比值会爆，六家怎么裁

上一讲的账本里有一条默认成立的前提：轨迹采自当前策略。真把它放进训练集群，前提立刻松动：生成一条带工具调用的长 rollout，远慢于 learner 的一次更新，样本还在队列里，策略已经又往前走了。旧样本直接拿来算梯度，策略会被拽飞。这一篇讲的，就是怎么救。

一、异步的账：样本是怎么「变旧」的

两种训练循环的差别，L11 p.19 画成了 GPU 甘特图。同步（synchronous）要整批轨迹全部完成才能更新：图上 generate、update 与等待三段交替，生成时训练卡闲置，更新时推理卡闲置，一条慢轨迹拖住全批。

异步（asynchronous）走另一条路，p.20 的代表是 AReaL（Fu et al. 2026，§3.2/§4.1）。rollout worker 持续生成，learner 拿已完成轨迹就更新，两头不再互相等。

代价写在合同小字里：部分轨迹来自更旧的策略版本。这个版本差就是 staleness（陈旧度）。

陈旧不是抽象名词，p.22 把它算成了数。场景是一个 bug 修复任务，三个候选动作。行为策略 μ 是生成轨迹的那个版本，learner 手里的 πθ 是更新时的版本，两边概率已经错位：

拿 μ 采出的动作直接进 πθ 的策略梯度，等于按新价签记旧账。更新会系统性地偏向 πθ 已经不那么想做的动作，把它们继续当主力交付。

二、救偏一行式，与长轨迹上的爆炸

补救来自概率论里最老的一行恒等式，重要性采样（importance sampling，p.23）。想算 πθ 下的期望不必重采，把 μ 的样本按两个策略的概率比值重新加权即可：

$\mathbb{E}_{a\sim\pi_\theta}[R(a)]=\mathbb{E}_{a\sim\mu}\left[\frac{\pi_\theta(a|h)}{\mu(a|h)}\cdot R(a)\right]$

比值用第一节的表当场算得出。「Check None explicitly」0.70/0.40=1.75，πθ 比生成时更想做，证据增值；「Use get (…,3)」0.20/0.40=0.50，πθ 已没那么想做，证据打折。旧样本就这样从不能用变成加权用，这就是救偏。

但换算到整条轨迹，这个权重是连乘的，p.24 的式子是：

$w(\tau|x)=\prod_t\frac{\pi_\theta(a_t|h_t)}{\mu(a_t|h_t)}$

爆炸不是算术巧合。CTPO（Zhang et al. 2026，§3.2）在工具调用数学 rollout 上做了实测，p.25 的 Fig.1 显示：token 级累积比值 $\rho_t^{\mathrm{cum}}$ 的散布随 token 位置后移持续增大，轨迹前段还贴着 1，后段铺成失控的扇形。

更深一层在 p.26，CTPO §3.1 叫它结构性失明：早期动作改变了后续历史。就算下一个动作的条件比值恰好等于 1，也就是这一步两个策略给同一动作同样的概率，到达这个历史本身的概率也只有 0.10/0.40=0.25。

token 级比值天生看不见「我为什么会在这里」。长轨迹的账，越往后越没法直算。

三、六家裁剪：谁用哪段动作、怎么夹

整条不可用，于是各家裁两刀。第一刀，比值取哪一段动作，CTPO Table 1 在 p.27 排成一张表：

第二刀，取完怎么夹。p.30 的 token 级比值与裁剪：

$\rho_t=\frac{\pi_\theta(u_t|u_{<t})}{\mu(u_t|u_{<t})},\qquad c_t=\mathrm{clip}(\rho_t,\ \ell,\ u)$

示例界 0.8 与 1.2：比值一出界就被按在边界上。夹完怎么进目标函数，p.31 上 PPO 与 CISPO 给出两种答案：

$J_{\text{PPO}}=\mathbb{E}\big[\min(\rho_t\hat{A}_t,\ c_t\hat{A}_t)\big]$

$J_{\text{CISPO}}=\mathbb{E}\big[\mathrm{sg}(c_t)\,\hat{A}_t\cdot\log\pi_\theta(u_t|u_{<t})\big]$

再看 PPO 那条裁剪曲线的不对称，p.32 的示意取 ε=0.2，改编自 PPO Fig.1。优势为 +1 时，比值超过 1+ε 后目标不再涨，好样本的影响封顶；优势为 −1 时，比值低于 1−ε 后目标不再跌，坏样本的惩罚封底。

两头都不再变，策略就不会被少数爆比值的样本拖着跑。clip 管的不是更新多大，而是单条样本最多能影响多大。

四、两道护栏与一张总结表

clip 管住单步步长；更长期的漂移，p.33-34 交给两道护栏。其一是参考模型 KL（reference KL）：

$\max_\theta\ J_{\mathrm{policy}}-\beta\cdot D_{KL}(\pi_\theta\,\|\,\pi_{\mathrm{ref}})$

π_ref 是冻结的 SFT 起点，一根固定锚；GRPO 目标里的那一项就是它（DeepSeekMath）。

分工清楚：clip 防这一步迈太大，KL 防离出发点走太远。

其二是熵奖励（entropy bonus）：max J + αH (πθ)，把分布撑宽，鼓励尝试低概率动作。课上有句保留，出处 PPO §5：更宽不保证更有用，买的是探索机会，收益没有保证。两道护栏，训练配方里常常同时在场。

全景收在一张六方法 × 四维度的总结表里，表在 p.35。「组比较」指减组均值再除以组内奖励散布：

表外两条延伸值得追。Qwen 团队 2025 年的 GSPO 把比值抬到序列似然（sequence likelihood）级，整条回答作为一个整体被加权，对应总结表里那一格：整条响应，长度归一化。

ByteDance Seed 2025 年的 DAPO 打包四件套：Clip-Higher、动态采样、token 级损失、超长奖励整形。其中 Clip-Higher 动的是上文那道不对称上限，把 1+ε 抬高，低概率 token 的上升通道不再被封死。

Qwen2.5-32B 在 AIME’24 拿 50 分，超 DeepSeek-R1-Zero-Qwen-32B 的 47，且只用一半步数。

从纸面到落码还隔一层实现细节。HF 博客 2023 年的 The N Implementation Details of RLHF with PPO 逐行复现 lm-human-preferences，把 padding、reward 归一化、KL、Adam 的数值差这些论文不写、跑了才知道的坑一一登记在册。

与本讲的连接

全线从 p.19-22 的两种循环与 staleness 起步，经 p.23-26 的救偏与长轨迹爆炸、p.27-32 的六家两刀，收在 p.33-35 的两道护栏与总结表。谱系枢纽是那笔 1.05 的连乘账。单步温和，连乘爆炸，第三节六家的两刀由它逼出。