一条主线两台引擎：踩过的坑配对应的解
讲次页导语给了双讲分工与贯穿案例，两节课怎么咬合没有展开。本篇补齐：Neubig 备这节课的方法本身就是大纲，问题与解法一一配对；系统侧那节为什么必须存在，两台引擎的对话给答案。读完你知道六篇算法加两篇系统各自接的是哪个失效。
一、故障清单备课法
Neubig 备这节课的方法有点特别：把过去一两年训练 agent 踩过的坑全列出来，每条坑配一个解法，没有对应解法的内容一概不讲（字幕）。
所以 6a 的大纲就是一张故障清单。听课的姿势也定了：每一节先认问题，再看公式。
课程线在这里走到三连讲的第二节。第一节立骨架，采样、打分、更新；这一节讲算法，公式与数学为主；沙箱、并行这些运行层面的事，他明确说不归今天管，留给下一节的系统专场（字幕）。
二、贯穿案例：修一个 bug
全程只演一道题。coding agent 面对一段有 bug 的代码，任务是把 retry 设置修对：0 应该禁用重试，代码却返回 3，其余分支的行为要保持。
verifier 是现成的：跑测试，全过得 1 分。案例从第 3 讲的编码专场一路陪过来，信用分配篇有它的完整轨迹，这里只记身份。
一条轨迹里藏着本讲全部题目。中途改错、再改对，奖励只落在末尾，中间步骤怎么拿到信号，这是反馈太稀。多条轨迹长短不齐，快的等慢的，这是等待太久。这些正是算法四篇的靶子。
三、系统侧为什么必须有第二节
公式跑起来，机器先吃不消。
一条轨迹要两台引擎接力：推理引擎负责生成，decode 重、没有梯度；训练引擎负责更新，可并行、带着 autograd。两台机器的优化方向相反，中间只靠 rollout 数据与权重对话。
双引擎篇把这一程拆成五段，系统侧两篇接着算机房的账。6b 的讲者是客座的 Apurva Gandhi，当节还是 Assignment 2 的截止里程碑。
四、按失效找篇目
四个失效各认各的属地：反馈太稀找信用分配篇，更新太猛找稳定更新篇，奖励太假找 verifier 篇，采不动的任务向教师学。助攻之外，等待与吞吐的账在系统侧两篇。
先认问题再看解法，这张故障清单本身就是这门课的用法说明。
本节论文与规范
本节资料
2025 综述（v5 2026 更新）。把 agentic RL 定式化为时序扩展的部分可观测 MDP，按规划、工具使用、记忆、推理、自我提升、感知六大能力 × 任务域双维度组织，综观 500+ 文献，并整理开源环境、基准与框架清单。L11/L12 的「系统与陷阱」两条线索都能在其中找到更大坐标。当课程地图用：迷失时回来看全景。
AI 生成 · 仅供参考，与课程方无关。选中正文里的任何一段也能直接问我（解释一下 / 举个例子）。
本详解以 CMU 11-768 AI Agents (Fall 2026) 课程大纲为参考框架独立撰写，AI 辅助起草、人工抽审。 涉及的官方课件、论文与课程材料版权归原所有方，讲义为站内镜像、其余外链原文出处； 观点与文字（除标注引用外）为作者原创。