双讲地图：三连讲的引擎课，插一场领域整车展

一、三连讲的排片表

第 5 讲上半场的开场没有走公式。Fried 先把训练篇的排片表亮出来（字幕）：今天讲 policy gradient 基础；下周讲高级算法，off-policy 与稳定性；第三讲讲 RL 系统，框架与超参。三讲连播，最后接作业三。

作业三有两个设置：Number Search 沙盒，加一个类 Minecraft 的合成环境。算力额度会比前面的作业花得狠，Fried 提前打了招呼（字幕）。

所以这一讲的定位比看上去重：三连讲的第一块地基，第 6 讲的算法与系统两节都从这里续。

二、贯穿例题：Number Search

规则一句话：环境藏一个 1 到 16 的整数，agent 猜四次，每次只收到偏高、偏低或猜中的反馈。

简单到不像话，但正好。SFT 的三笔错配账在它身上逐一显形，REINFORCE 的掩码与再加权也拿它当演算纸。前两篇详解的属地都在这。

例题、作业、沙盒三位一体，这是课程设计里少见的直给：课堂演的题就是作业考的题。

三、周四换场：领域第三站

下半场是客座。Akari Asai，CMU 本校教师，Deep Research 方向的专家，把这讲补成 Domains 系列第三站（字幕）。

前两站是编码与计算机使用，验证信号干净、任务边界清楚。Deep Research 正相反：没有唯一 gold，报告好坏靠四轴评测与引用核查，检索本身还要感知推理。难的地方恰好补上前面领域的空档。

两节同讲的逻辑在此：上午学引擎，RL 给出从结果里自己变强的机制；下午看整车，Deep Research 把这套机制连同多步检索、长文综合装配成产品形态，训练配方里 mid-training、SFT、RL 一个不少。

四、四加四的地图

上半场四篇按纵深排：三错配、REINFORCE 力学、GRPO 家族树、奖励边界。下半场四篇按流水线排：解剖、评测、配方、检索器。

引擎课的另外两节在第 6 讲等着，作业三的沙盒已经备好。