今天选择两篇过去七天内首次公开的原创研究。FlowPlan 从程序表示入手,探索让 Coding Agent 在修复前声明结构化意图,并在修复后验证该意图,以减少重复上下文消耗;ExpertCrowd-SWE 从验收器入手,让工程师编写未公开过的真实变更需求,并对 Agent 的交付给予经过校准的细粒度评分。

它们分别回答同一个工程问题的两面:Agent 该如何经济地做出正确修改,以及我们如何独立判断它做对了多少? 两篇均为预印本,结果不应被视为已在所有仓库、模型和生产条件下复现。

1. FlowPlan: Reducing the Token Cost of Coding Agents with Abstraction-Guided Planning and Verification

  • 作者/来源: Melika Sepidband、Jiho Shin、Song Wang、Hadi Hemmati / arXiv 预印本
  • 首次提交: 2026-11-09 21:11 UTC(北京时间 2026-11-10 05:11)
  • arXiv 原文: https://arxiv.org/abs/2611.13241
  • AlphaXiv: https://www.alphaxiv.org/abs/2611.13241
  • 相关技术: Coding Agent、Control-Flow Graph、Data-Flow Graph、Program Repair、Structural Verification、Context/Token Efficiency

推荐理由: 很多降低 Agent 成本的办法是压缩上下文、减少搜索或跳过操作;FlowPlan 换了一个更贴近编译器和程序分析的思路:让 Agent 先在 CFG/DFG 上明确修复意图,再修改源码,并以结构变化核对意图是否兑现。这对熟悉 LLVM/MLIR IR、控制流和数据流的工具链工程师尤其值得研究:程序抽象不仅是搜索索引,还可以承担可检验的计划表示。

3 条核心要点:

  1. 把修复从自然语言循环改为可比对的程序结构变化。 FlowPlan 采用四步:Locate → Plan → Edit-and-check → Verify。在单函数 CFG/DFG 上定位问题,事先写出要增加的保护条件、分支变化或定义—使用关系等 graph delta;完成源码修改后重建图,将观察到的变化与计划比对,最后仍对完整修复执行验证。图匹配不能单独证明程序行为正确,也没有取消原有搜索、Shell、编辑和测试工具。
  2. 节省的是重复交互与上下文,而非显著提高解题率。 论文在 SWE-bench Pro、SWE-bench Verified 和 SecBench 上,对 Claude Haiku 4.5、Sonnet 5 进行六组评测。FlowPlan 在六组中都降低 Token 消耗,五组差异显著,且相对基础 Agent 任务解决率无统计显著变化。Haiku 的 Token 比例分别约为基线 0.46–0.47、0.32–0.35、0.68–0.74 倍;Sonnet 对应约 0.72–0.76、0.73–0.74、0.92–0.94 倍。这是 Token 用量,不应直接等同于 API 账单同比下降。
  3. 成本主要花在上下文重放和反复检查,收益随任务类型变化。 论文的一组 SWE-bench Pro 基线中,Haiku 每题平均消耗约 370 万 Token,其中 98% 为缓存读取;一个展示案例从 50 次模型调用、270 万 Token 降到 17 次、53 万 Token,两者均解决问题。SecBench 的节省较小,因为原始轨迹更短。关键限制仍是图上定位准确性、修复计划完整性,以及 CFG/DFG 对复杂语义变化的表达能力;缓存 Token 节省不必然等价于同等金额节省。

核心启示: Source → CFG/DFG → Planned Delta → Edit → Observed Delta → Independent Verification。值得关注的是,将可执行的程序抽象纳入 Agent 的推理与完成判据,能否比不断重新读取文件更稳定、高效。

2. ExpertCrowd-SWE: Measuring Frontier Coding Agents on Expert-Authored Engineering Tasks in Unfamiliar Codebases

推荐理由: 通用 Coding Agent 榜单容易混淆“背过公开补丁”“通过某个测试”和“完成维护者真正会接受的修改”。ExpertCrowd-SWE 不从历史已合并 PR 逆向挖题,而是由熟悉实际仓库的工程师原创任务和验收规则,用可执行、可校准的加权判据检查交付。这篇的价值主要在于 Eval 的构造方法,而非又一张模型名次表。

3 条核心要点:

  1. 100 道专家原创跨文件工程任务,更接近真实变更请求。 基准覆盖 87 个开源项目、11 种语言,每题绑定确定的代码 Commit、独立参考实现和验收器。需求工单中位长度 148 词,参考实现中位修改 471 行。题目不是公开已修复的历史缺陷,研究重点是让 Agent 在不熟悉的仓库里实现实际需求,而不是复现训练中出现过的答案。
  2. 验收器不仅测正例,还必须抵抗“假完成”。 每题使用加权、主要可执行的评分规则,可获得部分分数;必须满足的 blocker 和 pass/fail gate 模拟维护者拒绝合并的条件。每套任务在发布前检查:参考实现得 1.0,原始未改代码及无效修改得 0;接近半数任务还包括可替代解、偷懒式修改及对抗控制补丁。24 题公开、76 题保留以限制污染,并对照 93 个公开基准数据集检查重合风险。
  3. 模型分数有差异,但不能误读成 PR 成功率。 七个模型在统一任务、沙箱、预算与评测平台下,共形成 3,495 次有效评分运行。Claude Opus 5.5 的加权得分为 67.3%,GPT-6 Astra 为 63.7%,两者没有统计显著差距;80 道任务没有任何模型在五次独立运行中次次拿满分。这些是该基准的加权分数,不是现实世界 PR 合并率,也不代表所有 Harness、预算或应用场景下的绝对产品排序。部分任务保留不公开,有助于防止污染,但限制外部完全复核。

核心启示: Expert-written Requirement → Pinned Repository → Candidate Patch → Executable Rubric + Must-pass Gate → Calibrated Score。Eval 必须能区分正确实现、部分实现、无效补丁与投机取巧,而不是只给一个容易被误读的 Pass/Fail。

今日思考

两篇论文看似一篇讲成本、一篇讲评测,实则都在将 Agent 的工程活动从不可审查的对话过程转成可检查的外部对象:

  • 执行阶段: FlowPlan 的 CFG/DFG delta 将“准备怎么修”转成可比较的结构约束,限制不必要的后续探索。
  • 交付阶段: ExpertCrowd-SWE 的需求、参考解、Rubric 和对抗补丁把“怎样算修好”固定到 Agent 之外,不允许 Agent 靠自写测试宣布完成。

值得追问:如果把 FlowPlan 的“计划图变更”纳入 ExpertCrowd-SWE 的执行日志,能否同时测量 Token 经济性、规格满足率和长期维护影响? 图变化是否会奖励结构上正确但行为上错误的补丁?当代码跨函数、仓库或包含复杂副作用时,怎样让形式化计划与外部验收互补,而非互相替代?

证据边界: 两篇均是 2026 年 11 月 9 日首次提交的研究预印本;作者与日期、摘要及主要数据从 arXiv 原文核对。AlphaXiv 提供对应 arXiv 编号的标准 /abs/<ID> 地址,但本次检查未能独立确认 AlphaXiv 页面可访问,不使用虚构的 Overview / Blog 链接。