信用分配三层楼：一个 0/1 的功劳记到哪一步

修 bug 的 coding agent 跑完一条五步轨迹，到手的反馈只有末尾一个 0/1：四条单元测试全过，或者没全过。奖励不会说哪一步立了功、哪一步闯了祸，梯度公式只会把这个标量平摊给轨迹上每个动作。

这枚 0/1 该记到谁头上，就是信用分配（credit assignment）要回答的问题。L11 在 p.3-17 用三层楼作答：一层组内比较让失败轨迹开口，二层 critic 与 GAE 把预期和信用细化到步，三层过程奖励模型干脆把打分本身改成步级。

一、病灶：一个标量平摊给整条轨迹

先看贯穿案例的形状，出自 L11 p.3-4。任务是修一个函数的 bug：

def retry_count(config):
    return config.get("retries") or 3

规格四条：缺 retries 键 → 3；值为 None → 3；值为 0 → 0；值为 2 → 2。

陷阱在 Python 的 falsy 语义：or 3 连显式配置 0 次也吞成 3，于是四条里恰有一条不通过。

一次尝试就是一条轨迹 τ = Inspect → Edit → Test → Revise → Test again。中间步奖励全为 0，R (τ)=1 当且仅当 4 条测试全过。

把它喂给上一讲「从零推 REINFORCE」推过的那条损失（L11 p.5-6）：

$\mathcal{L}_{PG} = -R(\tau)\sum_t \log \pi_\theta(a_t \mid h_t)$

R (τ)=0 时整条轨迹梯度为零。失败的尝试不教任何东西，哪怕其中的 Revise 一步改得完全正确。

反过来 R (τ)=1 时，五个动作同享一个正权重，哪怕其中某一步是 mistake。

失败不说话，成功好坏不分。

二、第一层：组内比较 —— 失败轨迹开口，粒度仍是轨迹

第一层不动公式结构，只换权重来源。L11 p.8 的例子：同一任务采 4 条轨迹，奖励 1,0,0,0，基线取组均值 0.25，更新权重变成 +0.75 与 −0.25×3。

失败轨迹第一次产生信号，含义是比同题的平均水平差，整条往下压。这级台阶就是上一讲「GRPO 家谱」里的组均值，L11 把它放回信用分配的语境：基线负责回答预期多少，组内比较是最省钱的预期。

但粒度没变（L11 p.9）：组权重对整条轨迹所有 turn 相同。成功轨迹里 a1 是 mistake，照样乘着 +0.75 一起上调；失败轨迹里 a3 是 helpful，照样乘着 −0.25 一起下压。层一解决的是失败不说话；好坏不分，留给楼上。

跨讲分工在这里划清。上一讲问基线减什么：组均值怎么取、Dr.GRPO 为什么去掉 σ_R 与长度偏置；本篇问信号细到哪一层：从轨迹级下探到步级，再到过程级。

三、第二层：critic 与 GAE—— 预期按历史细化，信用按步摊派

第二层动的是预期：组均值是每任务一个数，这里要细化到每个历史一个数，两件工具都出自 L11 p.10-14。

先是 reward-to-go（后续回报）。轨迹 A 只有末端奖励 r6=1，从 h3 往后看，R3 = 0+0+1 = 1，见 p.10-11。比当前动作更早的奖励与它无关，剔掉是纯降方差，上一讲已经预告过这一步。

再是 critic，也就是 value function。换一条轨迹 B，从它的 h3 出发用当前策略 μ 续采 10 次、3 次成功，那么 V^μ(h3) = E_μ[R3|h3] ≈ 0.3（p.12）。

组均值看的是同任务的平均表现，critic 看的是这个历史之后的期望回报。同一个任务里，走到不同 h_t 的轨迹各有各的预期。

critic 自己也要训练，目标是最小化平方误差 L_V (φ) = E_t [(V_φ(h_t) − R_t)²]（p.13，出处 MIXER，Ranzato et al. ICLR 2016 §3.2.1）。

这笔账值得亲手算一遍。h3 处 10 次续采的目标是三个 1、七个 0；若 V_φ(h3)=0.6，MSE = [3×(0.6−1)² + 7×(0.6−0)²]/10 = 0.30；把预测挪到均值 0.3，误差降为 0.21。平方损失的最优解就是条件均值。

critic 学的是走到这里，通常还能拿几分。

有了 V_φ，信用就能按步摊派。TD 误差（temporal difference error，p.15）：

$\delta_t = r_{t+1} + V_\varphi(h_{t+1}) - V_\varphi(h_t)$

含义是用这一步之后的现实，减这一步之前的预期，为正即超预期。算 slides 的例子：值序列 0.3→0.6→0.4→0.0、中途奖励为 0，得 δ = +0.3 / −0.2 / −0.4。第一步超预期，后两步把虚高的预期逐步还回去。

一步 δ 只看前后两个历史，稳但短视；整段 reward-to-go 无偏但方差大。GAE（generalized advantage estimation，Schulman et al. ICLR 2016）在两者之间取指数加权（p.16；γ=1 约定见 p.58）：λ=0.5 时后续误差权重逐项减半。

$\hat{A} = 0.3 + 0.5\times(-0.2) + 0.25\times(-0.4) = 0.1$

等价的递推是 Â_t = δ_t + λÂ_{t+1}。λ 压向 0 退化成单步 TD，λ 抬向 1 回到 reward-to-go。一个旋钮，在偏差与方差之间连续调档。

四、第三层：过程奖励 —— 把打分本身改成步级

前两层都在奖励末尾给一个 0/1 的前提下加工信号，第三层动的是奖励本身。过程奖励模型（process reward model，PRM）用人工步骤标注当 value 的代理，这是 L11 p.17 的做法。

算例是解 5x = 6x−14，正确解是 x=14。解到中途一步写下「x=7」，标注者就在这一步打错：错误被定位到步，不用等最终答案才整体判 0。

出处是 Let’s Verify Step by Step（Lightman et al. 2023，Fig.1）。作者标注了 PRM800K，80 万步级标签；实验里 PRM 一致优于只看结局的 ORM（outcome reward model）。

人工逐步标注的贵，催生 2025 年两条新枝。PRIME 免显式标注、直接训隐式 PRM，只靠结果标签即可与策略同步更新；Process Reward Models That Think（arXiv 2504.16828）把 PRM 改成生成式模型，先思考、再打分，打分器自己也学会了推理。

与本讲的连接

本篇是讲次页大纲卡里信用分配的下钻层，收束在 L11 p.55 三要点之一：有用反馈 = 组比较 /critic/ 过程奖励，三层楼各占其一。粒度从轨迹级的组权重，压到历史级的 critic 预期、步级的 δ，再到过程级的逐步打分，每下一层，奖励里的信息多榨出一截。五张资料卡按层各就各位：

• m6-gae：GAE 原典，指数加权与递推式
• m6-mixer：critic 平方损失与线性 head 挂法的出处
• m6-lets-verify：PRM800K 与 PRM 一致优于 ORM 的实证
• m6-prime、m6-prm-think：2025 年免标注与会思考两条新枝

下次打开 RL 训练日志，先问一句：失败轨迹到底有没有产生负信号？