架构速览：让窗口变大的五条路

标称窗口都到 1M 了，长任务跑起来，Agent 还是会失忆。为什么？先算架构的账。

二次墙，与四条反复出现的机制

标准 Softmax 注意力的代价写在定义里 (L3 p.13)：每个位置的 query 要与全部历史 key 两两比较，序列长 n，比较次数按 O (n²) 增长。同时每个历史 token 的 k、v 都得留着，KV 缓存随长度线性膨胀。

最直接的修补是滑动窗口（sliding window）：只与最近 w 个位置比较，O (n²) 降为 O (wn) (L3 p.14)。

但代价同样直接。Longformer 一代的经验是纯局部层够不到远处 (L3 p.18)：远处信息只能一层层接力传到眼前，接力就会衰减。

所以长上下文架构史反复回到四类机制 (L3 p.17)：滑动窗口、线性注意力或循环（linear attention /recurrent）、稀疏注意力（sparse attention）、KV 压缩（KV compression）。

它们不互斥，现代模型几乎都是组合使用：多数层用便宜的机制扛日常开销，留少数层保全局访问。

五步梯子：状态怎么写、怎么忘

演化主线是把注意力改写成「固定大小的状态 + 循环更新（recurrent update）」。让窗口变大的五条路，其实是同一把梯子的五级：① 是基线，从 ② 起每一步都在修上一步的失 (L3 p.19-23)。梯子如下：

① Softmax。 保留全部 k、v，任意两个位置直接建立联系。这是它至今没被完全替代的原因：显式的 token 级访问，精确、可指认 (L3 p.19)。

② Linear attention。 把双线性分数重排成循环更新 S_t = S_{t-1} + k_t v_t^T，状态大小与序列长度脱钩。但写入是纯加法，写进去的干扰永远不会被擦除，状态越用越脏 (L3 p.20)。

③ DeltaNet。 改进发生在写入之前：先用当前 key 从状态里读出关联 v̂_t = S_{t-1}^T k_t，再把误差 e_t = v_t − v̂_t 写回去。与当前 key 无关的记忆原样保留，写入从叠加变成修正 (L3 p.21)。

④ Gated DeltaNet。 能修正还不够，还得能忘：写之前先对状态做整体衰减 α_t S_{t-1}，再做定向修正。分工也明确，α 管全局保留，β 管定向编辑 (L3 p.22)。这条机制的系统性研究见 Gated DeltaNet 论文。

⑤ KDA。 整体衰减仍是一刀切。KDA 把衰减矩阵换成对角的 Diag(α_t)，每个通道有自己的衰减率，也就有自己的记忆寿命。重要通道保留得久，噪声通道衰减得快 (L3 p.23)。

2025 年的 Kimi Linear 把梯子终点做成完整模型：混合线性注意力架构，首次在公平比较下整体超过全注意力。

这条链也解释了混合为什么是必然：梯子换来恒定状态，代价是丢掉 token 级精确访问，后者只能靠少数全局层补回来。

混合配比 3:1~5:1，与两条省显存旁支

纯线性状态丢长程细节，纯 Softmax 又太贵，主流答案是混合架构（hybrid architecture）。L3 p.15 的做法是每 N 局部层配 1 全局层，做周期性全局访问；局部: 全局大约落在 3:1~5:1，个别更密，Kimi K3 约 2.9:1 (L3 p.16)：

表注：GQA 即 Grouped-Query Attention（组查询注意力），MLA 即 Multi-head Latent Attention（多头潜在注意力），展开见下文旁支；DSA 即 DeepSeek Sparse Attention（DeepSeek-V3.2 技术报告）。

稀疏注意力分两族 (L3 p.24)。固定模式代价可预测，但不自适应；内容相关 TopK 自适应，但选择器漏选一个 key，信息就丢。DeepSeek 2025 年的稀疏注意力属于后一族，独立论文可读 NSA。

另一条旁支是 KV 压缩 (L3 p.25)：GQA 让多个 query 头共享 KV 头；MLA 更进一步，缓存潜在向量、按头重建。从 DeepSeek-V2 起，缓存里存的不再是原始 KV。

位置编码、外推与训练配方

架构把窗口撑开，位置编码先要定 (L3 p.28-32)。从绝对正弦出发，RoPE 的关键性质是注意力分数只依赖相对位移，见 RoFormer。

NoPE 干脆不加位置编码（论文），顺序信息由因果掩码的动态推断补上。Kimi K3 就是 NoPE + 循环 KDA。

再看外推。位置插值（position interpolation）把位置除以 s 压回训练范围，即 R(t/s)；YaRN 改成频率选择性插值，再加温度修正 √(1/τ) = 0.1·ln s + 1。注意这是 LLaMA 的配方，不是普适常数 (L3 p.32)。

各家扩展路径也不同 (L3 p.33)：

• Qwen3.8：262K 原生，配 partial RoPE + YaRN 推到 1M；
• GLM-5.3：原生 1M，NoPE 无需重缩放；
• DeepSeek V4：4K→16K→64K→1M；
• Kimi K3：8K→64K→256K→1M。

窗口做大只是一半，另一半在训练配方。先短预训练，4-8K；再在 32-128K 上继续训练；最后做长适应，可到 1M (L3 p.26-27、34-35)。

长上下文数据常见的有四类。

• 长文档。天然连贯的长源。
• packed（拼接打包）。把短序列拼接成一条长序列。
• agent 轨迹。跑任务攒下的多轮历史。
• 合成布证。人工把证据布置到远距位置。

最有信号的是「答案依赖远距证据」的构造。

Kimi K3 把跨全上下文的证据排列成子任务；GLM-5 用仓库 /issues/PR/diff。共同配方是连贯长源、答案依赖远距证据、渐进长度。

系统侧还有上下文并行（Context Parallelism），用 Ring Attention 与 Megatron CP 让通信与计算重叠 (L3 p.36)。但总功仍是 O (n²)，精确、非稀疏。

工程把墙推远，墙还在。

与本讲的连接

本篇补的是讲次页 Capacity 一侧的架构答案；另一侧的证据在姊妹篇：lost-middle 篇的位置与长度双衰减，long-context-eval 篇的四代基准。

谱系一行收：Softmax→Linear→DeltaNet→Gated DeltaNet→KDA，从全量 KV 写到逐通道记忆寿命。窗口再大，复述关键信息、外置状态、按位置摆放，这三件事仍然落在提示这一侧。