今天选择两篇过去七天的原创研究和工程实践:一篇关注同一个代码库经历多轮开发后,Agent 能否持续交付;另一篇关注不同 Agent Harness 能否共享任务队列、状态和验收规则。两者的证据性质不同:Multi-step SWE 是公开任务与基准结果;Ryan X. Charles 是带实现细节、生产计数和已知缺陷的个人实践报告,数据尚未独立审计。
1. Multi-step SWE: Can Coding Agents Keep Building on Their Own Code Over Long Horizons?
- 作者/来源: Xiangkai Zeng、Zheng Liu、Zihao Lin / arXiv 预印本
- 首次提交: 2026-11-04 21:49 UTC(北京时间 2026-11-05 05:49)
- arXiv: https://arxiv.org/abs/2611.07166
- AlphaXiv: https://www.alphaxiv.org/abs/2611.07166
- 基准网站: https://multistepswe.com/
- 相关技术: Coding Agent Evaluation、Long-horizon SWE、Regression Testing、Performance Optimization、Conformance Test
推荐理由: 现有 SWE-bench 类型的任务通常只要求一次修复,而真实工程更像连续几周的演进:先实现,再迁移、升级、优化,然后再次改动之前由 Agent 自己写下的代码。Multi-step SWE 明确把前一次运行留下的代码作为后一次任务的起点,令早期错误和架构选择真实累积。它还覆盖 C/C++、Rust 等系统软件与性能优化任务,对编译器、GPU Kernel 工具链及长期自主开发都有研究价值。
3 条核心要点:
- 以连续工程链取代单次补丁分数。 基准包含 69 条任务链,每条 5–15 个依赖步骤,覆盖四类工作:功能开发、版本升级、技术栈迁移与性能优化。每一步都是独立的、多小时工程需求,默认从前一步 Agent 留下的代码继续;只有每一步都得到满分,整条任务才算完成。任务需求与验收器尽可能依据相同的上游规范、参考实现、兼容性测试或性能基线,避免 Agent 靠自己写的测试宣布成功。
- 单步成功不能推出连续交付可靠。 论文对九个前沿模型各进行四次独立尝试。最高的 Claude Opus 5.5 整条任务成功率 18.5%,但其单步满分率 56.8%,Pass@4 为 31.9%;69 条中有 38 条没有被任何模型完整解决。该结果表明,把每个局部步骤的成绩视为项目可交付能力会明显过于乐观;论文也指出不同步骤、模型和任务类别的表现差距很大。
- 正确性依赖外部基准与持续回归,不是 Agent 的自述。 对 TLS、DWARF、框架迁移等失败轨迹的分析发现,一些 Agent 忽略自己工具结果中已经出现的异常,或者根据自写测试接受错误行为;成功轨迹更多利用独立符合性套件、参考程序和原始系统的差分行为检查。研究也明确承认 C/C++ 任务占 38/69,公开项目可能产生训练数据重叠,且尚未进行独立步骤基线实验,无法完全分离“前序错误累积”和“后续步骤本来更难”的影响。
核心启示:
Step 1 → Checked Code → Step 2 → Regression + Conformance → … → Whole-chain Acceptance。真正应评测的不是 Agent 能不能把一次 PR 做对,而是能不能维护自己先前的决策,同时不破坏已经满足的契约。
2. Building Multi-Harness Multi-Agent Swarms
- 作者/来源: Ryan X. Charles / 个人工程博客(Astrohacker 软件工厂实践)
- 发布日期: 2026-11-11
- 原文: https://ryanxcharles.com/blog/2026-11-11-building-multi-harness-multi-agent-swarms/
- 相关技术: Claude Code、OpenAI Codex、Grok、Nushell、Git Refs、AGENTS.md、Agent Skills、Git Worktree、Independent Review
推荐理由: 与抽象的“多 Agent 协作框架”不同,这篇文章给出了多个模型厂商的 Agent 共享一套实际开发流程的机制:仓库级命令行工具、Git Ref 租约、统一技能目录、工作树隔离、按精确 Commit 做独立审查。尤其值得读的是跨 Harness 产生的具体故障:重复裁决、过时审查、指令文件截断、API 额度耗尽,以及哪些能力至今无法跨工具迁移。
3 条核心要点:
- 把协作协议放进 Git 与仓库文件,而不是模型会话。 作者为每个项目维护约 **6,000–11,000 行(含离线测试)**的 Nushell 仓库工具,统一执行 Issue 抢占、Worktree 创建、PR 提交、审查与合并。通过 Git Ref(例如
refs/tags/rxc/issue/57)竞争式领取任务,减少两个不同 Harness 的 Agent 重复工作;AGENTS.md记录项目规则,.agents/skills保存共享 Skill,并通过链接让不同工具读取同一份文件。Agent 重启后可依据名称、分支和 Claim 恢复,而不必依靠聊天记忆。 - 将独立审查与精确版本约束做成硬门槛。 作者规定编码会话不得批准自己的变更;审查者在独立会话里检查指定 Commit,未回答的新讨论会阻止通过;通过仅对应那个 Commit 与目标分支,随后由审查者合并。作者报告在 11 月 8 日 00:00 至 11 日 12:00 UTC 的约 3.5 天内,四个仓库合计合并 207 个 PR、产生 553 个主分支非合并提交,其中 25 个 PR 的作者与审查者来自不同 Harness。这是作者自行统计、部分仓库私有的产出数量,不是经外部验证的质量或生产率增益。
- 多 Harness 是兼容性压力测试,也带来新的竞态。 实践中出现“同一 Commit 不能重新裁决”、审查人忽略较新的人工决策、旧分支命名误导任务归属等问题,团队将其变成仓库工具的测试与规则;
AGENTS.md曾超过一个工具的潜在截断边界,于是缩短指令并加长度测试。作者还指出 GitHub 单账号 API 限额、Grok 缺少跨会话消息能力、不同工具的自动发现行为不一致,因而目前并非所有角色都能在任意 Harness 上对等运行。发布权限及某些决策仍保留给人类。
核心启示:
Shared Issue / Contract → Atomic Claim → Isolated Worktree → PR → Independent Verdict on Exact SHA → Merge / Release。跨模型协作不必先有统一的 Agent 通信平台,但需要外部持久化的任务状态、可测试的裁决规则和对竞态的显式防护。
今日思考
两篇文章分别给出了长周期 AI-native 开发的两块拼图:
- 时间维度: Multi-step SWE 说明,同一段代码经历多个完整需求后,早期设计、未捕获回归与局部自我验证都可能毁掉整条交付链。
- 协作维度: 多 Harness 软件工厂把任务、技能、身份、版本和审批从瞬时模型会话外移,允许不同 Agent 接续工作,但也暴露了分布式调度及审查的一致性难题。
一种值得研究的统一结构是:
Versioned Intent / Spec → Claimed Task → Persistent Workspace → Independent Step Verification → Exact-Commit Review → Next Iteration
值得追问: 当 Agent 在几个月内多次接手同一仓库时,如何将“验收器的版本”“当前代码的来源”“尚未兑现的接口契约”与每次任务绑定?即使所有 PR 都通过独立审查,是否仍可能在连续迭代中逐步偏离最初的系统目标?
证据边界: 第一篇是可进一步复核的研究预印本,不代表所有真实项目或部署环境;第二篇是作者披露的私人/部分私有仓库实战记录,数字与工程有效性尚待外部复现。arXiv 标识与作者、首次提交信息已从原站核对;AlphaXiv 给出标准编号链接,本次未能独立确认其页面可访问性。