原创 · 炼金术

命名的来处、园子的分区方式，以及这里的内容从哪来——开垦的第一锹。

讲解 Transformer 架构与大语言模型的谱系关系，逐段对照 PyTorch 核心实现，说明编码器与解码器层的组件构成、pre/post norm 差异和 Dropout 作用，帮助读者建立 decoder-only 大模型的结构认知。

介绍自注意力机制的背景与来由，先补充 Mercer 定理、核函数、softmax 等前置概念，再从心理学中的自主与非自主提示出发，用刷朋友圈的例子把注意力拆解为 Query、Key、Value 三要素，为后续算法推导铺垫。

从 Nadaraya-Watson 核回归推导注意力汇聚函数，解释 softmax 在其中的角色，对比加性与缩放点积两类评分函数，并借助 Llama 注意力层源码演示自注意力的计算过程，衔接上篇未尽的机制讲解。

从文字与 token 的类比切入，讲解大模型普遍采用的 BPE 分词算法原理与字节对合并流程，并附 Rust 并发实现及与 Python 基准的性能对比，兼顾原理与工程实践。

梳理大语言模型所需的数学基础：线性代数中的张量运算与 embedding 的空间含义、概率统计中的极大似然估计与联合概率、微积分中的链式法则与自动微分，说明三门数学在模型训练和推理中各自的用途。

以 PyTorch 官方的多项式拟合示例为线索，拆解机器学习训练的完整流程：数据准备、模型定义、损失函数、优化算法与训练循环，辨析参数与超参数等概念，并延伸到大语言模型训练中的实践差异。

借助 PyTorch 图像分类示例介绍深度学习的基本流程，重点拆解 torch.nn 中 Module 与 Parameter 的核心抽象、模型容器及各类预置组件，并概览从随机梯度下降到 Adam 的优化算法演进，为阅读大模型源码做准备。

对比 Claude Skills 与 MCP 两种 Agent 能力扩展方式：MCP 近乎黑盒的接口调用，功能固定、对模型要求低；Skills 更像开放源码的 SDK 框架，灵活但学习曲线更陡。从 MCP 到 Skills，Agent 开发的抽象层次正逐步提高。

围绕 Agent 记忆管理展开思考：澄清记忆、上下文与提示词三个易混概念的边界，并按目标驱动、对话式、短程与长程任务等场景梳理记忆问题，结合相关综述探讨从实际细节切入的实践路径。

梳理 MCP 规范支持的三类通讯机制：stdio、Streamable HTTP 与自定义传输，重点辨析 SSE 与 Streamable HTTP 的区别与联系，覆盖双向通信、会话管理与断线重连等细节，帮助理解 MCP 的底层传输设计。

从架构解析、类微服务设计与编程范式等视角概览 MCP：介绍 Host、Client、Server 的角色划分，逐一评析 Tools、Resources、Prompts 等能力与多语言 SDK 现状，并讨论大模型对协议的适配要求，帮助建立整体认知。

整理吴恩达在 deeplearning.ai 发表的 Agentic 设计模式系列文章链接，覆盖系列总览与 Reflection、Tool Use、Planning、Multi-Agent Collaboration 四大模式，另附机器学习多元发展一文，可作 Agent 应用入门的资料索引。

以复旦大学论文《Searching for Best Practices in Retrieval-Augmented Generation》为主线，逐环节梳理 RAG 落地实践：查询分类、分块策略、向量检索与混合搜索、重排序、重打包及总结生成，并给出各环节的选型参考。

介绍 Agentic 设计模式中的 Planning（规划）：将难以用单个提示词说清的复杂任务，以分而治之拆解为可独立执行的子任务再串联整合。文中穿插吴恩达的 AI Agentic moment 案例，并对比该模式与 Reflection、Tool Use 在稳定性上的表现差异。

解读 Agentic 设计模式之四 Multi-Agent Collaboration（多角色协作）：借鉴人类组织分工，让不同角色 Agent 各配提示词、按流程流转协同完成任务。文章以软件开发为例，介绍开源项目 ChatDev 的实现思路与该模式面临的工程挑战。

解读 Agentic 设计模式中的 Reflection（内省）：借鉴人类敏捷迭代的做事方式，让 LLM 产出初版结果后，由另一角色给出反馈、循环改进直至合适出口。文章以编程任务为例拆解步骤，并延伸讨论持续迭代对人类工作的启示。

讲解 Agentic 设计模式之二 Tool Use（工具使用）：LLM 天然受困于二进制环境，需借助搜索、代码执行等工具才能充分释放能力。文章点评主流模型与多款国产应用的工具表现，并拆解该模式的实现流程与工程要求。

围绕 Andrew Ng 呼吁机器学习领域保持开放包容的文章，评述 Agent 与 Agentic 的概念之争，介绍其总结的四种 Agentic 设计模式：反思、工具使用、规划与多智能体协作，倡导以务实心态看待应用创新。

解读 KAIST 提出的偏好对齐算法 ORPO。文章回顾 RLHF 与 DPO 的局限、SFT 在对齐中的作用，推导 Odds Ratio 损失函数及其梯度，说明该算法无需参考模型与预热阶段即可高效完成偏好对齐。

作为微调系列的开篇，先厘清迁移学习与强化学习两条思想脉络，再界定大模型微调的范畴：指令微调、对齐与增量预训练，并提示不同训练方式的数据格式差异及灾难性遗忘等实践风险。

基于 Reddit 上的 KL 散度实测数据，比较 Qwen3.6-27B 在 GGUF、FP8、NVFP4 等量化方案下的性能损耗与显存表现，并分析各方法差异的成因，为部署精度选择提供参考。

总结使用大模型的几类反模式：以搜索关键词方式提问、让模型做纯计算、追求一步到位等，并借 Jevons 悖论说明模型越强对使用者专业度要求越高的反直觉现象。

系统拆解前沿 LLM 的架构、量化与显存，覆盖 Dense/MoE、注意力机制演进、BF16 到 FP4 精度选择与 KV Cache 估算，并以三款模型为例给出部署选型参考。

梳理机器学习中过拟合的成因与应对之道，先厘清训练、验证与测试数据的分工，再逐一推导 L1、L2 正则化与 Dropout 的工作原理，并介绍数据扩增为何能提升模型的泛化表现。

整理 PCIe 与 NVLink 两种 GPU 互联技术的对比资料，涵盖传输带宽与能效比差异，并梳理 GH200 Grace Hopper 架构及 GPU 通信架构的演进脉络。

围绕 DeepSeek-R1 671B 满血版部署需求，从显存、算力、带宽、互联与功耗等核心指标出发，横向对比英伟达、华为、AMD 及多家国产 GPU 方案的性能与生态支持，并给出单机部署的采购参考。

回顾 Dropout 自 2012 年引入深度学习以来的效果与可解释性不足，尝试以生物进化中的变异机制类比其防止过拟合的原理，并与 L2 正则化的生物类比相对照。

从梯度下降推导出发，逐步展开 L1 与 L2 正则化的数学原理与防过拟合机制，延伸到 Lasso、岭回归与 AdamW 的关系，并附 PyTorch 从零实现与简洁实现两版代码。

以一张城市照片为引，借不同观察目标解释 Attention 中 Query、Key、Value 的分工，进而辨析 OCR 与一般机器视觉的差异：OCR 是场景单一的特定视觉任务，复杂度远低于真实环境中的机器人操作。

讲解音频入门知识：从音调、音量、音色三要素认识声音本质，再沿采样、量化、编码的流程解释模拟信号如何数字化，覆盖奈奎斯特采样定律、44.1kHz 采样率、位深与 PCM 裸数据格式等概念。

围绕 Kyutai 的实时对话语音-文本模型 Moshi 展开：从 AGI 预言与技术爆炸谈起，论证语音能力对大模型的必要性——低延迟、承载情绪声调、支持重叠与打断的交流，并拆解 Helium 与 Inner Monologue 两个核心组件。

回望 Adrian Colyer 的博客 The Morning Paper：2014 年起约两天一篇，七年解读千余篇计算机论文后停更。作者梳理其选题与写作方式，立下持续写作、定期总结的目标。

解读 Predibase 的 LoRAX 推理引擎：让上百个同源 LoRA 微调模型共用一份基础权重部署，靠动态加载适配器、分层缓存与多适配器批处理降低推理成本、提升吞吐，并借操作系统概念类比讲解。

复盘 ChatGPT 问世后中国大模型产业的融资牌局：从王慧文的光年之外起伏，到智谱、月之暗面等公司的崛起，梳理红杉、阿里、腾讯等机构的 Club Deal 式押注策略与其中的人性博弈。

顺着吴恩达的文章聊大模型自学：预训练与微调的数据需求悬殊，模型直接吃自产数据会崩溃；文章以人读经典作类比，并分析用 agentic workflow 生成合成数据的可行性与成本。

解读 METR 实测研究：16 名资深开发者用 Cursor 在熟悉的开源项目完成 246 项任务，AI 辅助效率与专家预估、自我感知大相径庭。作者结合实验上下文与自身经验，探讨该结论的适用边界。

介绍 Lazy Prompting 技巧：先抛出简短不精确的提示，快速评估输出后再决定是否补充上下文，思路类似惰性求值。文中划出适用场景与不宜偷懒的情形，并强调其以熟练供给上下文为前提。

解读 PLAN-AND-ACT 论文：Planner 负责规划、Executor 负责执行，以分治思想拆解长程任务，异常时动态重规划兜底，两角色模型由 RL 微调而来。作者认为模型能力仍最关键，角色微调必要性存疑。

剖析 Deepseek R1 的强化学习算法 GRPO：梳理冷启动 SFT 与两轮 RL 的训练流程，再对照组采样、优势归一化与 KL 散度公式，从 TRL 的 GRPOTrainer 源码逐段解读实现细节。

拆解 Deepseek V3 技术报告：MLA 低秩压缩注意力、MoE 免辅助损失负载均衡、Multi-Token Prediction 与 DualPipe 流水线，兼谈国产开源大模型的能力格局。

借前台积电建厂专家的算账文章，替奥特曼 7 万亿美元造芯计划做纸上规划：先扫清 EUV、CoWoS 等制造概念，再按台积电产能数据核算建厂要花多少钱、能产多少 GPU。

解读 Predibase 的 LoRA Land 技术报告：用 10 个基础模型在 31 个任务上微调出 310 个 4-bit LoRA 模型，梳理其实验设计、评估方法与结果分析，兼评评测结论的适用范围。

整理吴恩达关于推理算力的观点：人们聚焦训练缺卡，却低估了推理侧的算力缺口；以人类阅读速度估算 token 需求并不成立，RAG 等程序化消费场景对生成速度要求高得多。

A1 要求在开源 LLM 上实现 Agent 基类、CodeAgent、上下文压缩与程序化工具调用——拆解这份作业的设计思想：它在逼你亲手摸到 Agent 的四个承重墙。（不含任何解答）

Menlo Ventures 基于150多位技术决策者的调查，盘点2025年中期大模型市场：企业 LLM API 支出翻倍、厂商份额此消彼长，开源采用与推理支出结构亦在转变。

解读 Tim Dettmers 的文章，从显存带宽、Transformer 架构极限、能源供给、指数级资源需求与 GPU 改进停滞等角度，梳理其认为 AGI 难以实现的论据。

逐组件剖析 LLaMA 3 的模型架构，讲解 RoPE 旋转位置编码、KV 缓存、分组查询注意力、RMSNorm 与 SwiGLU 等设计，并为每个组件配有简洁的 PyTorch 代码实现。

评述前 Qwen 负责人林俊旸的 Agentic Thinking 观点：回顾推理模型从隐藏思考到混合模式的演变，梳理代理式思考的五个特性，并附作者对 AGI 与具身智能的思考。

从不再沉迷村上春树的自省谈起，回味《黄金时代》《百年孤独》与炸牡蛎等镌刻于记忆的阅读场景，借韦伯"意义之网"的观点讨论文学之于脆弱心灵的力量，追问芜杂心绪中自我的位置。

以一篇豆瓣书评为引，回顾三次改变认知方式的阅读跃迁：《枪炮、病菌与钢铁》提供归纳框架，《自私的基因》给出理解人性的工具，《无穷的开始》以"寻求好解释"重新校准对进步与选择的看法。

记录作者阅读《段永平投资问答录》后对“做对的事情”与知行合一的思考，将投资不为清单类比软件设计元原则，并结合跑步、写作与 AI 各自梳理不为清单与能力圈边界。

由互联网创业的唯快不破谈起，借多年跑步经历反思把里程配速等手段误当目的的急于求成心态，并结合多本跑步书籍梳理热身、柔韧性、变速与力量训练等科学方法。

回顾 Llama 3 发布要点：tokenizer 词汇扩至 128K、训练序列增至 8k 并全系采用 GQA，附 8B 本地实测与模型、系统、应用三级安全体系的梳理。

梳理莫拉维克悖论：与直觉相反，推理只需很少计算，感知与运动技能却需要海量算力，并以进化时长解释为何 AI 先攻克艺术与语言，而体力劳动与精细动作依旧困难。

由《命运》与《绝叫》两部现实底色浓厚的小说出发，对照两种迥异的人生姿态与命运走向，并引《了不起的盖茨比》开篇自省，探讨个体面对困境时的选择与归因，思考命运背后的主观力量。

从不再多读村上春树的缘由谈起，串联王小波、马尔克斯等作品中难以忘怀的阅读场景，借韦伯"意义之网"的说法，思考文学在虚无与芜杂心绪中的"无用之用"，追问自我与永恒瞬间的关联。

由南京一家动物园因尊重动物、回归自身定位而爆火的新闻生发开去，联系 iPhone、特斯拉等产品案例，讨论做事应聚焦产品与服务本身而非一味迎合客户，兼谈坚持在幸存者故事中的分量。

以《向上生长》《纳瓦尔宝典》两本畅销书为引，结合"可证伪性"概念与芒格式的反思，检视年轻时对成功的误判，拆解普通人成事的几个因素：行业大势、环境组织、自身能力与运气。

从王川对“游手好闲”的定义谈起，以自己打羽毛球时全程紧张、接发球频频失误为例，对照轻松自如的境界，反思工作与生活中普遍存在的紧张状态及其根源。

电影《默杀》观后随笔：借"以德报怨，何以报德"的诘问，审视校园霸凌中的沉默与旁观者心态，剖析小人物的自保、乌合之众的欺软怕硬与权力庇护下的纵容，反思个体发声与正义的代价。

从一条 prompt 让 Claude 3 Opus 完成视频转书挑战的趣事切入，评述其产品分级、多模态与长上下文，并探讨 Anthropic 崛起原因与国内大模型的追赶约束。