LLM 模型架构、量化机制与部署运行时显存使用深度分析

以 DeepSeek-V4-Flash / MiniMax-M2.7 / Qwen3.6-27B 为案例的对比研究

---

Chapter 0: 前言与阅读指南

0.1 关于本报告

大语言模型（Large Language Model, LLM）正以前所未有的速度演进。从 2023 年的 Dense Transformer 一统天下，到 2024 年 MoE（Mixture of Experts）架构的崛起，再到 2025–2026 年混合注意力（Hybrid Attention）、线性注意力（Linear Attention）与多 Token 预测（Multi-Token Prediction）的全面落地，LLM 的架构已经远非当年的标准 Transformer 可比。

本报告旨在对当前（2026 年初）前沿 LLM 的三大核心维度进行系统性深度分析：

1. 模型架构：Dense vs. MoE、注意力机制演进、位置编码、多 Token 预测等
2. 量化机制：从 BF16 到 FP8、FP4、INT4 的精度选择与显存影响
3. 部署运行时显存使用：权重显存、KV Cache、运行时开销的精确计算

本报告选取三款具有代表性的模型作为贯穿全文的案例，覆盖 Dense 与 MoE 两种主流范式、三种截然不同的注意力机制设计，以及从 27B 到 284B 的参数量跨度。

0.2 目标读者

• AI 工程师：需要深入理解模型架构以做出正确的部署与优化决策
• MLOps 从业者：需要精确估算 GPU 显存需求以规划推理集群
• 研究人员：对 LLM 内部机制、架构设计权衡有研究兴趣
• 技术决策者：需要理解不同架构方案的优劣以做出选型判断

0.3 符号约定

注意：本报告在计算显存时统一使用 GiB（$1024^3$ 字节），与 GPU 显存标称单位一致。

0.4 缩写表

0.5 三模型概览

案例选取理由：

• DeepSeek-V4-Flash：MoE + 混合压缩注意力的最前沿。CSA/HCA 三层注意力架构和 FP4+FP8 混合量化均为业界首创，在 1M 超长上下文下实现了极低的 KV Cache 开销。
• MiniMax-M2.7：MoE 架构在工程实践上的另一条路线 —— 从 Lightning Attention 回归到 Full Softmax + GQA 的简洁设计，凸显了长上下文注意力在建模质量与显存效率之间的权衡。
• Qwen3.6-27B：Dense 模型在混合线性注意力方向上的突破。48 层 Gated DeltaNet + 16 层 Gated Attention 的 3:1 混合设计，大幅降低了长序列的 KV Cache 开销。

---

Chapter 1: Transformer 基础架构回顾

1.1 Decoder-Only 架构的主流化

1.1.1 从 Encoder-Only 到 Decoder-Only 的范式转移

2017 年原始 Transformer 由 Encoder 和 Decoder 组成。BERT 证明了 Encoder-Only 的能力，但 GPT 系列揭示了一个关键洞察：规模足够大的自回归语言模型，无需任务特定的架构修改，即可通过 Prompt 自然地完成理解和生成任务。到 2024–2026 年，几乎所有前沿模型均采用 Decoder-Only 架构。

1.1.2 标准 Transformer Block

# Pre-Norm Transformer Block
x_out = x + Attention(RMSNorm(x))
x_out = x_out + FFN_SwiGLU(RMSNorm(x_out))

RMSNorm 取代 LayerNorm，计算量更小，已成为 Llama、Qwen、DeepSeek、MiniMax 等主流模型的标配。

SwiGLU FFN 取代原始两层线性 FFN + ReLU：

FFN_SwiGLU(x) = (W_up(x) * sigmoid(W_gate(x))) @ W_down

由 PaLM 首先推广，现为业界标准。

1.1.3 位置编码的演进

DeepSeek-V4 采用 Partial RoPE（部分 RoPE）：仅在每个注意力头的前 64 维（共 512 维）应用 RoPE，为 CSA/HCA 等压缩注意力机制提供更大的灵活性。

---

1.2 从 Dense 到 MoE：稀疏激活范式

1.2.1 Dense 架构的瓶颈

Dense Transformer 中每个 Token 激活所有参数，模型能力与计算成本严格绑定。要提升能力（增加参数），就必须等比例增加每个 Token 的计算量。

1.2.2 MoE 的核心思想

MoE 通过稀疏激活打破参数量与计算量的绑定：

# MoE Layer 结构
router_logits = W_router(x)              # 路由器计算得分
scores = routing_function(router_logits) # 路由函数
top_k_experts = select_top_k(scores, k)  # 选择 Top-K
expert_outputs = [E_i(x) for i in top_k_experts]  # 仅执行选中的 Expert
output = weighted_sum(expert_outputs, scores)      # 加权聚合

关键洞察：MoE 模型中，总参数量决定权重显存，激活参数量决定计算量 —— 二者解耦。

1.2.3 粗粒度 vs 细粒度 MoE

细粒度 MoE 能以更高的灵活度为不同 Token 选择最合适的 Expert 组合。

1.2.4 Shared Expert 机制

DeepSeek-V4 采用 256 Routed Expert + 1 Shared Expert。Shared Expert 作为所有 Token 共享的知识库，负责捕获通用模式，让 Routed Expert 专注于特化知识。

1.2.5 路由策略

DeepSeek-V4 的 noaux_tc 策略通过偏置项调节而非损失函数引导负载均衡，避免了对主任务损失的干扰。

---

1.3 Multi-Token Prediction（MTP）

标准自回归推理一次前向传播只产出 1 个 Token。MTP 让模型同时预测未来 k 个 Token，打破单 Token 瓶颈。

MTP 预测的额外 Token 可作为 Speculative Decoding 的候选草案，理想情况下可将推理吞吐提升 1.5–3 倍。显存开销通常仅占总参数的 1–3%。

---

Chapter 2: 注意力机制全景解析

2.1 注意力机制演进总览

MHA (2017)
 ├── MQA (2019): 所有头共享 K, V → KV Cache 降至 1/n
 │    └── GQA (2023): 分组共享 K, V → 质量与效率平衡
 │
 ├── MLA (2024): 低秩压缩 K, V → KV Cache 极小
 │    └── CSA/HCA (2025-2026): 序列维度压缩 → DeepSeek-V4
 │
 └── Linear Attention (2020-): 核方法替代 Softmax → O(n)
      ├── Lightning Attention (2024): 分块线性注意力
      └── Gated DeltaNet (2025): 门控线性注意力 → Qwen3.6

2025–2026 年核心趋势：混合注意力（Hybrid Attention）—— 不同层使用不同注意力策略。

2.2 Multi-Head Attention（MHA）

原始 Transformer 注意力，每个头独立的 Q, K, V：

KV_Cache_MHA = 2 * n_layers * n_heads * d_head * seq_len * bytes_per_param

MHA 的 KV Cache 随头数线性增长，长上下文场景下成为显存瓶颈的主要来源。

2.3 Multi-Query Attention（MQA）

所有 Query 头共享同一组 K, V。KV Cache 缩减至 MHA 的 $1/n_{\text{heads}}$，但建模能力有一定损失。代表模型：PaLM, Falcon。

2.4 Grouped-Query Attention（GQA）

MHA 与 MQA 的折中：Q heads 分组，每组共享 K, V。

KV_Cache_GQA = 2 * n_layers * n_kv_heads * d_head * seq_len * bytes_per_param

GQA 已成为当前的事实标准选择。

2.5 Multi-Head Latent Attention（MLA）

DeepSeek-V2/V3 的标志性创新，通过低秩投影将 K, V 压缩到潜在空间，KV Cache 只存储潜在向量：

c_kv = W_dkv(x)    # 低秩投影，d_latent << n_heads * d_head
k = W_uk(c_kv)     # 恢复 K（仅在计算时）
v = W_uv(c_kv)     # 恢复 V

KV_Cache_MLA = n_layers * d_latent * seq_len * bytes_per_param
# K/V 共享同一潜在向量，因子从 2 降为 1

MLA 的局限：与 Flash Attention 兼容性差（维度不匹配）、KV 量化策略需重新设计。这是 DeepSeek-V4 转向 CSA/HCA 的重要动因。

2.6 DeepSeek-V4 混合压缩注意力：CSA + HCA

DeepSeek-V4 用 CSA + HCA 取代了 MLA，构建三层注意力层级结构：

第一层：Sliding Window Attention（SWA）

• 适用层 0-1, 42（MTP 层）
• 128-token 窗口，无长程分支
• KV Cache 恒定极小

第二层：Compressed Sparse Attention（CSA）

• 4x 序列压缩：softmax-gated pooling + 可学习位置偏置
• Lightning Indexer（FP4, 64 heads, top-512 blocks）做稀疏选择
• 仅对选中的 512 个压缩块计算注意力

第三层：Heavily Compressed Attention（HCA）

• 128x 序列压缩：非重叠窗口，每组 128 Token 压缩为 1 个
• 压缩序列极短，做 dense attention（计算量极小）

层分布：

Layer 0-1:  SWA (compress_ratio=0)
Layer 2-41: 交替 CSA(4) 和 HCA(128)
Layer 42:   MTP + SWA (compress_ratio=0)

其他关键设计：

• Shared K=V：num_key_value_heads=1，K 和 V 使用同一张量，KV Cache 再减半
• Partial RoPE：仅 64/512 维应用 RoPE
• Grouped low-rank output projection：8 groups, LoRA rank 1024

KV Cache 效果：1M context 下仅约 9.62 GiB，相比 V3.2 的～83.9 GiB 缩减约 8.7 倍。

2.7 线性注意力与 Lightning Attention

Linear Attention 通过核函数近似替代 Softmax，将复杂度从 O (n²) 降至 O (n)：

# 利用结合律：(Q' · K'^T) · V = Q' · (K'^T · V)
# 先计算 K'^T · V (d×d 矩阵乘)，避免 n×n 注意力矩阵

Lightning Attention（MiniMax-Text-01）：分块策略，块内保留精确 Softmax（质量保证），块间使用线性递推（O (n) 复杂度）。实现了 10M Token 上下文窗口。

注意：MiniMax-M2.7 放弃了 Lightning Attention，回归 Full Softmax + GQA。设计权衡：牺牲极致上下文长度，换取建模质量、Flash Attention 兼容性和成熟的推理生态。

2.8 Gated DeltaNet（Qwen3.6-27B）

带门控机制的线性注意力变体，在 O (n) 复杂度下提升模型容量。Qwen3.6-27B 配置：

Gated DeltaNet 层不需要传统 KV Cache，通过递推式状态更新（固定大小）维护信息。48 层的状态开销仅约 24 MB，可忽略不计。

2.9 混合注意力设计哲学

设计原则：

1. 线性 / 压缩注意力负责长距离效率
2. Softmax/Full Attention 负责推理质量
3. 层间交替优于单一方案
4. 工程简洁性具有实际价值

2.10 注意力机制综合对比

---

Chapter 3: 量化理论与方法

3.1 量化基础概念

量化是将高精度浮点数映射到低精度表示的过程，核心目标包括：

• 减小模型体积：FP16 → INT4 可将权重缩小 4 倍
• 降低推理延迟：低精度运算在 Tensor Core 上吞吐更高
• 减少 VRAM 占用：直接降低权重和 KV Cache 的显存需求

主要分为两类：

• PTQ（Post-Training Quantization，训练后量化）：模型训练完成后进行量化，不需要重新训练
• QAT（Quantization-Aware Training，量化感知训练）：在训练阶段模拟量化误差，使模型主动适应低精度

目前主流 LLM 几乎都采用 PTQ，但 QAT 正在快速发展中。

3.2 数值格式详解

关键对比：

• BF16 vs FP16：BF16 与 FP32 具有相同的动态范围（8 位指数），但精度较低（7 位尾数 vs 10 位），避免了 FP16 常见的溢出 / 下溢问题。BF16 已成为 LLM 训练的事实标准。
• FP8 E4M3 vs E5M2：E4M3 精度更高（3 位尾数），用于前向推理；E5M2 动态范围更大（5 位指数），用于反向梯度。NVIDIA H100/Blackwell 原生支持。
• FP4 (NVFP4)：NVIDIA Blackwell 原生 4-bit 浮点格式，比 INT4 更好地保留动态范围，配合 FP8 scale factor 实现精细控制。

3.3 量化粒度

DeepSeek-V4-Flash 和 MiniMax-M2.7 的官方 FP8 量化均采用 128×128 block size，在精度与开销之间取得良好平衡。粒度越细，量化精度越高，但需要存储更多的 scale factor 元数据。

3.4 主流量化方法详解

3.4.1 GGUF（llama.cpp）

GGUF 是 llama.cpp 生态的专用格式，从 GGML 演进而来。

K-quant 系列：

• Q2_K, Q3_K_S/M/L, Q4_K_S/M, Q5_K_S/M, Q6_K, Q8_0
• K-quant 的核心思想：层内混合精度，重要权重使用更高精度
• Q4_K_M 有效精度约 4.5 bits，质量保留约 92–95%
• Q2_K 有效精度约 2.5 bits，体积最小但质量损失明显

I-quant 系列：基于重要性矩阵（Importance Matrix）引导的量化，在同 bitrate 下质量优于 K-quant。

特点：CPU + GPU 混合推理，灵活的 GPU offload 策略（可将部分层放 GPU、部分留 CPU）。适合消费级硬件和本地部署。llama.cpp、Ollama、LM Studio 均使用 GGUF。

3.4.2 GPTQ

基于近似二阶信息（Hessian）的训练后量化，逐层量化并考虑层间误差传播。需要校准数据集（通常 128–256 样本）。

• GPU 纯推理优化，配合 Marlin kernel 实现高效 INT4 反量化
• 适合服务器部署、纯 GPU 推理、vLLM/ExLlamaV2 后端

3.4.3 AWQ（Activation-aware Weight Quantization）

核心洞察：权重的重要性不均匀，按 activation 分布调整量化策略，保护对激活响应大的权重通道（salient weights）。

• 质量保留约 95%，通常优于同级别的 GPTQ
• 适合兼顾质量与速度的场景

3.4.4 AutoRound

Intel 提出的多格式量化工具，使用 sign gradient descent 优化 rounding 策略，支持 GGUF、GPTQ、AWQ 等多种输出格式。

3.4.5 NVFP4

NVIDIA Blackwell 架构原生 FP4 格式：

• 硬件级加速，反量化在 Tensor Core 内完成
• 配合 FP8 scale factor 实现精细控制
• 已支持：Qwen3.6-27B、DeepSeek-V4 等
• 适合 B200/B300 等 Blackwell GPU

3.4.6 FP8 Dynamic Quantization

不是独立方法而是部署技术：权重静态 FP8，激活动态量化到 FP8。Block-wise 128×128 scaling。近乎无损，已被 DeepSeek-V4-Flash 和 MiniMax-M2.7 官方采用。

3.5 量化方法选择决策指南

---

Chapter 4: VRAM 计算模型

4.1 VRAM 组成的四大组件

1. 模型权重（Model Weights）：所有参数的存储
2. KV Cache：注意力层缓存的 K/V 张量
3. 激活内存（Activation Memory）：推理时的中间计算结果
4. 运行时开销与碎片（Runtime Overhead）：CUDA 碎片、通信缓冲区等

4.2 模型权重 VRAM 计算

Dense 模型：

Weight_VRAM = N_params × bytes_per_param

MoE 模型：所有 Expert 权重均需加载到 VRAM（即使每次只激活 k 个）：

Weight_VRAM = N_total_params × bytes_per_param

注：实际文件大小可能因量化元数据（scale factors, zero-points）而略有差异。

4.3 KV Cache VRAM 计算

4.3.1 标准 GQA/MHA 公式

KV_per_token = 2 × n_layers × n_kv_heads × d_head × bytes_per_param
Total_KV     = batch_size × seq_length × KV_per_token

4.3.2 Qwen3.6-27B（仅 16 层全注意力需要 KV Cache）

KV_per_token = 2 × 16 × 4 × 256 × 2 (BF16) = 65,536 bytes ≈ 64 KB/token

48 层 Gated DeltaNet 使用固定递推状态（约 24 MB），不贡献随序列增长的 KV Cache。

4.3.3 MiniMax-M2.7（全部 62 层 Full Softmax + GQA 48:8）

KV_per_token = 2 × 62 × 8 × 128 × 2 (BF16) = 253,952 bytes ≈ 248 KB/token

MiniMax-M2.7 的 KV Cache 显著大于其他两个模型，因为全部 62 层都使用传统 Softmax 注意力。

4.3.4 DeepSeek-V4-Flash（CSA/HCA 压缩，shared K=V）

KV Cache 官方数据：

# Shared K=V → 因子为 1（非标准 2）
# n_kv_heads = 1, d_head = 512

# CSA 层 (20层): 4x 压缩 → effective_seq = seq/4
KV_CSA ≈ 20 × 1 × 512 × (seq/4) × bytes

# HCA 层 (20层): 128x 压缩 → effective_seq = seq/128
KV_HCA ≈ 20 × 1 × 512 × (seq/128) × bytes

相比传统 MHA 方案，CSA/HCA 实现了约 98% 的 KV Cache 压缩。

4.3.5 KV Cache 三模型对比

4.4 激活内存估算

推理时激活内存约 batch_size × seq_length × hidden_dim × bytes。经验值：batch_size=1 时约 1–2 GiB，随 batch_size 线性增长。

4.5 碎片与运行时开销

• CUDA 内存碎片：预留 10–20% 安全余量
• vLLM 的 PagedAttention 通过分页管理减少碎片
• Tensor Parallelism 通信缓冲区：约 0.5–2 GiB
• 建议总运行时开销预留：2–5 GiB

4.6 综合 VRAM 估算公式

Total_VRAM       = Model_Weights + KV_Cache + Activation + Overhead
Available_for_KV = GPU_VRAM - Model_Weights - Activation - Overhead
Max_Context      = Available_for_KV / (KV_per_token × batch_size)

实际部署可达的上下文长度：

---

Chapter 5: 案例深潜 — DeepSeek-V4-Flash

5.1 模型概述

DeepSeek-V4-Flash 于 2026 年 4 月 24 日与 V4-Pro 同步开源，是 DeepSeek-V4 的高效推理版本。

官方变体：

5.2 架构详解

5.2.1 MoE 配置

• 256 个路由 Expert + 1 个共享 Expert，Top-6 routing
• moe_intermediate_size = 2,048（每个 Expert 较小）
• 路由评分函数：√Softplus（从 V3 的 Sigmoid 变更而来）
• 负载均衡：noaux_tc（无辅助损失策略，通过偏置项动态调整）
• 前 3 层使用 Hash MoE Bootstrap：静态 token-id → expert-id 映射表，稳定早期路由
• Expert 激活函数：Clamped SwiGLU（gate clamp max=10, up clamp [-10, 10]），防止数值溢出

5.2.2 混合压缩注意力架构

43 层的注意力分布：

Layer 0-1:  SWA（compress_ratio=0, window=128）
Layer 2-41: 交替 CSA(4x) 和 HCA(128x)
Layer 42:   MTP + SWA（compress_ratio=0）

• CSA（Compressed Sparse Attention）：4x 序列压缩，softmax-gated pooling + 可学习位置偏置。Lightning Indexer（FP4 量化，64 heads, head_dim=128）为每个 Query 选择 Top-512 压缩块
• HCA（Heavily Compressed Attention）：128x 序列压缩，非重叠窗口，对整个压缩序列做 dense attention（序列很短所以计算量极小）
• Shared K=V：n_kv_heads=1，K 和 V 使用同一张量
• Partial RoPE：仅前 64/512 维应用 RoPE
• Grouped low-rank output projection：8 groups, LoRA rank 1024
• Per-head learnable attention sink

5.2.3 其他架构创新

Manifold-Constrained Hyper-Connections（mHC）：替代标准残差连接，维护 4 条并行残留流（hc_mult=4），通过 Sinkhorn-Knopp 迭代（20 次）生成双随机组合矩阵，确保信号传播非扩展性。

RoPE with YaRN：缩放因子 16，原始 max_position=65,536 → 扩展到 1,048,576。compress_rope_theta=160,000。

TileLang Custom Kernel DSL：领域特定语言编写融合 kernel，将 CPU 侧调用开销从数百微秒降至 <1 微秒。

Muon Optimizer：预训练阶段使用，加速收敛。

5.3 量化方案

5.3.1 官方量化

• Instruct 模型：Expert 权重 FP4，其余参数 FP8
• Base 模型：全部 FP8
• FP8 格式：E4M3，动态激活量化，128×128 weight blocks

5.3.2 社区量化

5.3.3 VRAM 需求详表

5.4 KV Cache 深度分析

官方数据：1M context 下 KV Cache 约 9.62 GiB（含额外开销与对齐），相比 V3.2 的～83.9 GiB 缩减约 8.7 倍。

三种 KV Cache 条目类型：

KV 存储精度：大部分维度 FP8，RoPE 维度 BF16。Lightning Indexer 运行在 FP4。

SWA 的 128-token 窗口在每层都存在，随层数累积可能成为主要存储开销。DeepSeek 提供三种磁盘缓存策略：Full caching、Periodic checkpointing、Zero-caching with recomputation。

5.5 部署建议

已知兼容性问题：

• ROCm 下 KV cache OOM
• Flash Attention 兼容性需特殊处理
• llama.cpp 需要 antirez 的 fork 版本

---

Chapter 6: 案例深潜 — MiniMax-M2.7

6.1 模型概述

MiniMax-M2.7（也称 MiniMax-M2）是 MiniMax 的” 自进化”agent 模型，其内部版本曾自主运行 100+ 轮自我优化，在 40+ 技能上实现 97% 的技能遵循率。

注意：需区分 MiniMax-Text-01（456B/45.9B active，Lightning Attention，10M 上下文）和 MiniMax-M2.7（230B/10B active，全 Softmax + GQA，192K 上下文）。M2.7 是更新的、更实用的版本。

6.2 架构详解

6.2.1 MoE 配置

256 个 Expert，Top-8 routing—— 这是异常细粒度的配置。对比 DeepSeek-V4 的 256 Expert / Top-6，MiniMax 激活了更多 Expert（8 vs 6），但每个 Expert 更小（intermediate_size=1,536 vs 2,048）。

路由配置：

• 评分函数：Sigmoid
• 负载均衡：Auxiliary Loss（coef=0.001）
• QK Norm：启用（per_layer）
• Routing bias：启用

6.2.2 注意力机制

全部 62 层使用 Full Softmax Attention + GQA（attention_type 全为 1）。

这与前代 MiniMax-Text-01 的 7:1 Lightning:Softmax 混合设计形成鲜明对比。M2.7 放弃 Lightning Attention 的原因：

这是” 工程简洁性 > 极致指标” 的设计哲学。

6.2.3 Multi-Token Prediction

3 个 MTP 模块，每个包含 1 个 Transformer 层。用于 Speculative Decoding 加速推理，额外显存开销较小。

6.3 量化方案

6.4 VRAM 需求详表

6.5 KV Cache 分析

KV_per_token = 2 × 62 × 8 × 128 × 2 (BF16) = 253,952 bytes ≈ 248 KB/token

关键问题：MiniMax-M2.7 的 KV Cache 在长上下文下增长迅猛。128K 上下文时 KV Cache 已达～32 GiB，加上 FP8 权重～229 GiB，总需求超过 260 GiB。这是全 Softmax + GQA 方案的核心代价 —— 用显存换建模质量。

如果使用 FP8 KV Cache（vLLM 支持），所有数值减半，但仍需～16 GiB at 128K。

6.6 部署建议

• NVIDIA NIM 优化版本可用
• Spheron GPU cloud 有部署指南
• 3×RTX 5090 (32GB each = 96GB total) 可运行 Q4
• CPU MoE Offload 是预算有限场景的唯一选择
• vLLM 支持，建议 tensor_parallel_size ≥ 2

---

Chapter 7: 案例深潜 — Qwen3.6-27B

7.1 模型概述

Qwen3.6-27B 是 Dense 模型中旗舰级代表，在 agentic coding 基准上超越了许多更大的 MoE 模型。

7.2 架构详解

7.2.1 混合注意力架构

64 层以 3:1 模式重复：3 层线性注意力 + 1 层全注意力

• 48 层 Gated DeltaNet（Linear Attention）：O (n) 复杂度，无需传统 KV Cache
• 16 层 Gated Attention（Full Softmax）：精确注意力，需要 KV Cache

Gated DeltaNet 参数：

• linear_key_head_dim = 128, linear_value_head_dim = 128
• linear_num_key_heads = 16, linear_num_value_heads = 48
• linear_conv_kernel_dim = 4（1D 卷积核捕获局部依赖）

Gated Attention 参数：

• 24 Query heads, 4 KV heads, head_dim=256
• GQA ratio 24:4 = 6:1

7.2.2 Vision Encoder（多模态）

原生支持图像理解、OCR、视觉问答等任务。

7.2.3 其他设计

• Partial Rotary Factor = 0.25：仅 25% 的 head dim 使用 RoPE
• RoPE Theta = 10,000,000：较高基数，有利于长上下文外推
• MTP：1 个 MTP hidden layer

7.3 量化方案

7.4 VRAM 需求详表

性能参考：RTX 4090D (48GB) GGUF 部署，~30 tok/s 生成，~3000 tok/s prompt 处理。

7.5 KV Cache 分析

仅 16 层 Gated Attention 需要传统 KV Cache。48 层 Gated DeltaNet 使用固定递推状态（约 24 MB），不随序列增长。

KV_per_token = 2 × 16 × 4 × 256 × 2 (BF16) = 65,536 bytes ≈ 64 KB/token

对比假设的 64 层纯全注意力模型（同样 GQA 24:4）：KV Cache 为 256 KB/token，即 4 倍。Qwen3.6-27B 通过混合注意力实现了 4 倍 KV Cache 压缩。

7.6 部署实践

消费级 GPU (24GB)

# 推荐方案: GGUF Q4_K_M
权重: ~15 GB
可用 KV 预算: 24 - 15 - 2(激活) - 1(开销) ≈ 6 GB
最大上下文: 6×1024³ / 65,536 ≈ 98K tokens
实际建议: 32-64K context（安全余量）

中端 GPU (48-80GB)

# RTX 4090D (48GB): Q5 或 FP8
权重: ~19-28 GB
可用 KV: ~18-27 GB
最大上下文: ~65-128K

# A100 (80GB): BF16 全精度
权重: ~54 GB
可用 KV: ~22 GB
最大上下文: ~128K+ (BF16 KV) / ~256K (FP8 KV)

vLLM 部署配置示例

# Qwen3.6-27B on A100 80GB
python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen3.6-27B \
  --tensor-parallel-size 1 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 65536 \
  --kv-cache-dtype fp8 \
  --dtype bfloat16

---

Chapter 8: 三模型对比分析

8.1 架构对比总表

关键观察：DeepSeek-V4-Flash 和 MiniMax-M2.7 通过 MoE 稀疏激活实现” 以小博大”—— 用约 10-13B 激活参数驱动数百亿级别的总参数量。Qwen3.6-27B 走 Dense 路线，27B 全部激活，以紧凑参数量在效率和能力间取得平衡。

8.2 VRAM 需求对比

8.2.1 权重显存占用

DeepSeek-V4-Flash 的 FP4+FP8 混合量化将 568 GB 压缩至约 160 GB，压缩比 3.56 倍。MoE 模型在低精度量化下表现出更好的鲁棒性，因为量化误差分散在大量未激活 Expert 中。

8.2.2 KV Cache 显存占用

KV Cache 的差异是三模型最显著的区别。DeepSeek-V4-Flash 在百万级上下文下仅约 9.6 GiB，得益于共享 K=V 与 CSA/HCA 压缩。MiniMax-M2.7 在 192K 时已达～48 GiB，是全 Softmax 方案的直接代价。

8.2.3 端到端部署显存需求（FP8 / 官方量化，128K 上下文，Batch=1）

Qwen3.6-27B 以约 38 GB 的总显存需求成为唯一可在消费级硬件上部署的模型。

8.3 注意力效率对比

8.4 量化鲁棒性对比

MoE 模型的量化优势：256 Expert 中仅 6-8 个被激活，量化误差被显著稀释。Dense 模型所有参数每次都激活，量化误差直接影响输出。

8.5 适用场景推荐

DeepSeek-V4-Flash：

• 超长上下文任务（>100K）和百万级 RAG
• 大规模文档分析、代码仓库理解
• 需要极致 KV Cache 效率的场景

MiniMax-M2.7：

• 复杂 Agent 工作流（多步骤推理、工具调用）
• 中等上下文（≤128K）的高质量生成
• 需要精确 Softmax 注意力的场景

Qwen3.6-27B：

• 消费级硬件部署（24GB GPU）
• 多模态任务（图像 + 文本）
• 代码生成与辅助编程
• 资源受限、成本敏感场景

场景选择决策：

上下文 >256K？ → DeepSeek-V4-Flash（唯一支持百万级）
上下文 128K-256K，预算充裕？ → MiniMax-M2.7（全注意力精度最优）
上下文 <128K，需多模态？ → Qwen3.6-27B（原生 Vision）
硬件受限（24-48GB）？ → Qwen3.6-27B（消费级可部署）

---

Chapter 9: 实践部署指南

9.1 推理框架对比

9.2 硬件选型指南

消费级（24 GB VRAM）

• 可行：Qwen3.6-27B Q4_K_M（~15GB 权重，32-64K 上下文）
• 不可行：DeepSeek-V4-Flash、MiniMax-M2.7

中端级（48-80 GB VRAM）

• RTX 4090D (48GB)：Qwen3.6-27B FP8/Q5，64K+ 上下文
• A100 (80GB)：Qwen3.6-27B BF16 全精度，128K+ 上下文
• MiniMax-M2.7 Q4 需双卡配合 CPU Offload

服务器级（160+ GB VRAM）

• 2×H200 (282GB)：DeepSeek-V4-Flash FP4+FP8，128K+ 上下文
• 4×H100 (320GB)：MiniMax-M2.7 FP8，64K 上下文

Blackwell 级（B200/B300）

• NVFP4 原生加速
• B200 (192GB)：几乎可单卡运行 DeepSeek-V4-Flash

Apple Silicon

• M4 Ultra 192GB：MiniMax-M2.7 FP8, DeepSeek-V4-Flash Q4
• M4 Max 128GB：Qwen3.6-27B BF16 全精度

9.3 关键部署参数配置

vLLM 部署示例

# Qwen3.6-27B — 单卡 A100 80GB
python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen3.6-27B \
  --tensor-parallel-size 1 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 65536 \
  --kv-cache-dtype fp8

# DeepSeek-V4-Flash — 2×H200
python -m vllm.entrypoints.openai.api_server \
  --model deepseek-ai/DeepSeek-V4-Flash \
  --tensor-parallel-size 2 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 131072 \
  --expert-parallel-size 2

# MiniMax-M2.7 — 4×H100
python -m vllm.entrypoints.openai.api_server \
  --model MiniMaxAI/MiniMax-M2 \
  --tensor-parallel-size 4 \
  --gpu-memory-utilization 0.90 \
  --max-model-len 65536

参数调优指南

9.4 常见问题与排障

OOM（显存溢出）

紧急方案：CPU Offload（llama.cpp -ngl 参数）、ktransformers MoE Offload、增加 GPU。

上下文长度不达预期

1. 验证 KV Cache 计算（注意激活内存未计入）
2. 使用 FP8 KV Cache（--kv-cache-dtype fp8）
3. 启用 Prefix Caching（--enable-prefix-caching）

量化质量下降

MoE 模型可以使用更激进的量化策略，Dense 模型建议不低于 4-bit。

---

Chapter 10: 总结与展望

10.1 核心结论

第一，混合注意力架构已成为前沿模型的设计共识。 DeepSeek-V4 的 SWA+CSA+HCA、MiniMax-M2.7 的 GQA、Qwen3.6 的 Gated DeltaNet，无一采用纯 Softmax MHA。注意力机制的设计空间远未被充分探索。

第二，MoE + 压缩注意力是超长上下文（1M+）的技术路径。 DeepSeek-V4-Flash 以 284B 总参数的 MoE 搭配极致 KV Cache 压缩，在百万级上下文下 KV Cache 仅约 9.6 GiB。MoE 的稀疏激活确保计算量可控，压缩注意力解决了 KV Cache 无限增长的瓶颈。

第三，Dense + 线性注意力在消费级部署展现极高性价比。 Qwen3.6-27B 以 27B 全激活参数，通过 48 层线性注意力实现消费级 GPU 部署。仅 16 层全注意力层的 KV Cache 使长上下文成为可能。

第四，量化从” 妥协” 转向” 原生设计考量”。 DeepSeek-V4 的 FP4+FP8 混合量化不是事后优化，而是架构设计阶段的核心组件。NVIDIA Blackwell 对 NVFP4 的原生支持加速了这一趋势。

第五，VRAM 核心矛盾从权重存储转向 KV Cache 存储。 随着量化成熟，模型权重的显存已可通过低精度解决。KV Cache 在长上下文下的爆炸性增长成为新的瓶颈。注意力机制的 KV 压缩能力正成为决定实际可用上下文长度的关键因素。

10.2 技术趋势展望

注意力机制：

• 动态路由注意力：根据内容动态决定计算粒度
• 自适应 KV 压缩：基于 token 重要性动态决定保留 / 丢弃
• 非均匀上下文压缩：不同语义层次采用不同压缩率

量化技术：

• 硬件原生更低精度（NVFP4 → NVFP2?）
• QAT 普及：训练阶段即引入量化噪声
• 量化友好架构设计：架构内置量化补偿
• MoE 混合精度：不同 Expert 差异化精度

部署架构：

• Expert Parallelism 成熟：All-to-All 通信优化
• KV Cache Offloading：卸载到 CPU/SSD，实现” 无限上下文”
• PD 分离部署（Prefill-Decode Disaggregation）：不同 GPU 集群处理不同阶段
• MTP + Speculative Decoding：一次前向传播多 token

模型架构：

• 更细粒度 MoE：256 → 512+ Expert
• 更多线性注意力层：3:1 → 7:1 → 15:1 比例
• 多模态深度融合：文本 + 视觉 + 音频统一架构

10.3 参考资料

1. DeepSeek AI. DeepSeek-V4 Technical Report. 2026.
2. DeepSeek AI. DeepSeek-V4-Flash Model Card. HuggingFace, 2026. https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash
3. MiniMax AI. MiniMax-Text-01: A Large-Scale Language Model with Hybrid Attention. arXiv: 2501.08313, 2025.
4. MiniMax AI. MiniMax-M2 Model Card. HuggingFace, 2025. https://huggingface.co/MiniMaxAI/MiniMax-M2
5. Qwen Team. Qwen3.6-27B Model Card. HuggingFace, 2026. https://huggingface.co/Qwen/Qwen3.6-27B
6. Qwen Team. Qwen3 Official Blog. https://qwenlm.github.io/blog/qwen3/
7. HuggingFace Blog. DeepSeek-V4 Architecture and Deployment Guide. https://huggingface.co/blog/deepseekv4
8. vLLM Project. Recipes: DeepSeek-V4-Flash Deployment. https://recipes.vllm.ai/deepseek-ai/DeepSeek-V4-Flash
9. NVIDIA. NVFP4 Data Format and Blackwell GPU Architecture Documentation. 2025.
10. ktransformers Project. GitHub: Optimized MoE Inference Engine. https://github.com/kvcache-ai/ktransformers
11. llama.cpp Project. GGUF Quantization Formats Specification. https://github.com/ggerganov/llama.cpp
12. Lin Ji, et al. AWQ: Activation-aware Weight Quantization. arXiv: 2306.00978, 2023.
13. Elias Frantar, et al. GPTQ: Accurate Post-Training Quantization. arXiv: 2210.17323, 2022.
14. NVIDIA Developer Blog. MiniMax M2.7 Advances Scalable Agentic Workflows. 2026.
15. Spheron. Deploy MiniMax M2.7 GPU Cloud Guide. https://www.spheron.network/blog/deploy-minimax-m2-7-gpu-cloud/
16. WillItRunAI. Qwen3.6-27B VRAM Requirements. https://willitrunai.com/blog/qwen-3-6-27b-vram-requirements
17. Knightli. DeepSeek V4 Local VRAM Quantization Table. https://www.knightli.com/en/2026/05/01/deepseek-v4-local-vram-quantization-table/