跳到主要内容
SecondHome

Agent 系列(1):Plan-and-Act Agent 框架,目标明确,灵活变通

约 3 分钟原创论文笔记(致敬 MP)#agents#paper-reading#rl#fine-tuning

解读近期 Agent 相关文章。 1. PLAN-AND-ACT: Improving Planning of Agents for Long-Horizon Tasks

近期频繁使用 Cursor 的经验来看,模型能力依旧是最为关键的因素。而 Agent 在于能否充分发挥模型能力,并给到更好的用户体验。

Plan-and-Act 框架的动态重规划部分值得借鉴,而 Plan-and-Act 框架本身无非是 Multi-Agent 的一种特例。个人以为没有必要为各角色模型进行特别微调,使用手头最好的模型即可。

此篇论文核心包含两部分,分治思想以及基于 RL 的微调。

分治思想(Divide and Conquer)

论文提出了 Plan-and-Act Agent 框架,核心思想比较朴素,如果把它翻译成程序员的语言,那就是分治思想。

进一步使用面向对象的思想进行拆解,文中使用了 Planner 模型进行路径规划,Executor 模型来执行每个任务。

动态重规划(Dynamic Replanning)可能是 Plan-and-Act 框架为数不多的亮点,如下图:

image.png

为 Executor 在执行过程可能遇到的各种异常兜底,Planner 再次介入重规划。

基于 RL 的微调

微调部分个人认为意义不大。不止针对本文使用基于 RL 的微调获得 Planner 模型和 Executor 模型,而是对于所有其他商业性质的(技术性质的不算)微调行为。

即使有些场景,由于各种原因无法使用商用 API,需要本地部署因而无法使用法规范围内最好的模型,单开源模型的持续改进仍然优于本地微调。从 ROI 的角度来看,本地微调对于绝大多数的商业行为是完全不合适。特别是 Deepseek 的出现,极大推动了开源模型的发展。

那么,文中对于数据合成发面的技术就不做过多展开,只说简单的结论:Planner 模型和 Executor 模型从 LLaMA-3.3-30B 基模微调而来,GPT-4o 是其 Teacher 模型。文中特定的 WebArena-Lite 场景下,相比 SOTA 结果有 53% 的提升。

结论

从近期频繁使用 Cursor 的经验来看,模型能力依旧是最为关键的因素。而 Agent 在于能否充分发挥模型能力,并给到更好的用户体验。

Plan-and-Act 框架的动态重规划部分值得借鉴,而 Plan-and-Act 框架本身无非是 Multi-Agent 的一个特例。个人以为没有必要为各角色模型进行特别微调,使用手头最好的模型即可。

相关阅读

持续耕种,欢迎订阅 🌱

RSS全站 ·原创 ·策展 ·雷达;公众号「炼金术」同步更新。