今天选择两篇 **2026 年 11 月 1 日与 11 月 4 日(UTC)**提交的原创研究。它们从两个方向扩展 Coding Agent 的评测对象:不再只修改单个代码仓库,而是联合维护互相依赖的多个仓库;不再只交出一个优化 Patch,而是设计、运行并验证完整的 LLM 推理服务。两篇均为 arXiv 预印本,结果限于论文采用的任务、模型及评测条件。

1. CrossSWE: Benchmarking Cross-Repository Joint Development for Coding Agents

推荐理由: 现有 SWE-Bench 家族主要考察一个仓库内的 Issue 修复,即使需要参考其他仓库,最终代码变更和测试通常仍局限于单仓。真实软件工厂的接口升级、依赖迁移、客户端与服务端协议调整,却要求几个仓库同时改变,而且每个单独的修复都不够。CrossSWE 不只是把多个仓库放进上下文,而是用可执行测试证明「联合修改是必要条件」。

3 条核心要点:

  1. 通过混合版本穷举,证明任务真正需要跨仓联合修改。 CrossSWE 从真实历史中整理 171 个实例、165 个仓库、20 个技术领域、13 种语言。每个实例在 Docker 环境中固定参与仓库的基线提交,针对 $N$ 个仓库枚举 $2^N$ 种「修复前/修复后」组合;只有全修复通过目标测试、所有未完整修复组合都失败,才纳入基准。因此它评测的是联合变更的必要性,而非单纯读取多仓代码的能力。
  2. 跨仓任务暴露了单仓成绩无法解释的缺口。 在统一的 mini-SWE-agent v2.4.6、最多 300 步和每次 $10 模型开销限制下,五个模型中最好的 GPT-6.1 Sol 得到 58.48% Pass@1;Claude Sonnet 5.5 为 50.29%。作者将 165 个双仓任务拆成「只需修改其中一仓」的任务后,GPT-6.1 Sol 提升至 64.55%,DeepSeek V4.1 Flash 从 52.63% 提升至 61.81%。这不是同一完整任务的简单消融,结果应理解为不同任务要求下的对照。
  3. 最常见的失败不是找不到代码,而是仓库间不一致。 作者人工分析失败轨迹发现,跨仓接口、协议或产物不兼容占 GPT-6.1 Sol 失败样本的 44.2%,Claude Sonnet 5.5 的 41.2%;还有实现不完整、兼容性回归和边界处理错误。单仓各自通过测试,并不足以保证组合状态正确;跨仓 CI 要能安装并测试同一组相互兼容的版本。

核心启示: Multi-repo Task → Joint Patch → Mixed-Version Tests → Integration Verification。评测 Coding Agent 是否完成系统级修改,关键不是改了多少仓库,而是能否证明联合交付后接口与行为保持一致。

2. ServerBench: How can your coding agents design specialized LLM serving systems?

推荐理由: 很多 Agent 优化 Benchmark 只衡量 Kernel Speedup、固定负载吞吐或代码是否通过单元测试。但真实推理服务还要决定并发度、调度、缓存、长上下文处理,以及延迟约束下的 GPU 成本。ServerBench 让 Agent 从最小 Transformers Server 出发,自己做实验、修改实现并选择部署负载,最后用独立环境验证整套系统。

3 条核心要点:

  1. 目标函数同时约束服务价值、延迟和算力成本。 论文提出 dollars per dollar:将满足 TTFT(首 Token 延迟)和 TPOT(输出 Token 间隔)目标的已完成请求按固定输入/输出 Token 单价计值,再除以测量窗口的 GPU 成本;未达延迟目标的请求不计入有效价值。回放工作负载来自 Coding Agent 的多轮会话,保留共享前缀、轮次依赖、并行子代理分支与请求长度,而不是简单地把独立请求打乱后压测。
  2. 系统级优化可以超过成熟框架,但胜率并不稳定。 研究让 11 种 Coding Agent 模型在 3 种模型—GPU 部署配置上开发服务器,每组最多 8 小时。33 次运行中 22 次提交通过验证的系统,13 次超过对应部署的最强 vLLM/SGLang 基线。Claude Sonnet 5.5 在 Gemma E4B + 单张 L40 的任务上达到 2.97 dollars per dollar,为该任务 vLLM 参考的 4.87 倍。这是特定负载和经济指标的比较,不等于通用吞吐提升 4.87 倍;每组主要是一轮开发,不能直接视为稳定复现概率。
  3. Agent 能优化代码,不代表能选对实验或完成验证。 高价值方案往往同时改进执行能力与负载选择:提高并发可能增加总 Token 价值,却让更多请求违反 TPOT 约束。作者展示 Agent 因随机文本探针而放弃 Prompt-lookup Speculation;换成真实负载回复后,相关优化被重新采用。最终评测在全新部署、未见过的回放种子下重测完整 Prompt、输出长度、流式响应、模型保真和长上下文行为,再辅以代码与执行记录审查,避免短测试掩盖系统故障。

核心启示: Service Objective → Workload-Aware Experiments → Engine + Load Decisions → Fresh Deployment → Independent Verification。衡量 Agent 的系统优化能力,需要验证真实服务目标和最终部署路径,而不仅是一次局部 Benchmark 的最快结果。

今日思考

两篇论文把 Coding Agent 的「正确」推向了两个新边界:CrossSWE 要求交付物之间相互兼容;ServerBench 要求交付物在真实负载、资源约束与独立验证下仍然有效。

如果把 Agent 当作软件工厂的执行者,评测对象应逐步从 Single-repo Patch 扩展为 Coordinated System Change,从 Unit Test Pass 扩展为 End-to-End Service Objective + Independent Verification。不过跨仓评测的混合版本测试与 ServerBench 的价值函数都有明确适用范围,还不能据此推断 Agent 已具备通用的跨团队协作或生产级运维能力。