1. Running a Software Factory Efficiently at Uber Scale
- 作者: Uday Kiran Medisetty / Uber
- 发布日期: 2026-08-27
- 原文: https://www.uber.com/us/en/blog/efficient-software-factory/
推荐理由: 这是近期最完整的生产级 software factory 成本工程案例之一。Uber 已经不是在讨论“要不要用 coding agent”,而是在回答:当 Agent 进入整个 SDLC、请求量持续增长后,如何把 质量、上下文、模型选择、tool use 和 token cost 全部变成可观测、可优化的工程系统。
核心要点:
- Uber 目前 70%+ PR 归因于 local/cloud agents,内部已有 3,600+ agent skills、每天 30K+ skill executions;越来越多 session 由 managed agents 自动触发,用于 code review、self-healing CI、E2E PR、on-call triage、debugging 和 maintenance。2026 年 2 月到 8 月,weekly active users 增长 7×、agentic requests 增长 9.4×,但在控制模型变量后,cost / 1,000 requests 从峰值下降约 34%,cost / session 从 6 月峰值下降 52%。
- 他们把总成本拆成
users × sessions/user × turns/session × requests/turn × tokens/request × price/token,然后分别优化每一项。最值得借鉴的是 outcome-denominated cost:managed agent 不只看 token,而看 cost per merged PR、cost per review、cost per alert、cost per cleanup,并同时绑定 revert rate、F1、MTTR 等质量指标。模型选择也不是固定“用最强的”,而是基于真实 workload benchmark 持续寻找 Pareto frontier。 - Context/tooling 是最大的系统级杠杆之一:Uber 的 AI Context Graph 已有 24M nodes、80M edges,覆盖 30+ 内部系统;同一问题里,graph-grounded agent 38 秒得到正确答案,无 grounding 的 agent 花 20 分钟仍答错。另一方面,他们不把 1,000+ MCP tools 的 schema 全塞进 context,而是通过 CLI/tool search 按需加载,并用 code-mode 把多轮 tool polling 放到子进程中;在示例 SQL workflow 中可减少 50%–90%+ token。核心方向很清楚:Agent factory 的优化对象不是单次 prompt,而是整个 execution economics。
2. Can your AI agent be cheaper? Investigating the effects of task specifications on token spend in agentic coding tasks
- 作者: Jakub Smékal / Stanford University
- 发布日期: 2026-08-26
- arXiv: https://arxiv.org/abs/2608.25399
- AlphaXiv: https://www.alphaxiv.org/abs/2608.25399
推荐理由: 这篇把“spec 写得好能不能让 coding agent 更高效”从经验判断变成了可测量问题。它非常适合 AI-native SDLC:task specification 不只是需求传递 artifact,也直接决定 Agent 要花多少轮去自行发现 acceptance criteria、定位问题和补齐缺失信息。
核心要点:
- 实验使用 5 个 SWE-bench Verified 任务,为每个任务构造 12 种 specification、3 档 thinking effort、每种重复 15 次,共 2,700 runs。完整 spec 包含 user story、Given/When/Then acceptance scenarios、edge cases、functional requirements、entities、success criteria 和 assumptions。将完整 spec 削成只有 bare user story 后,平均 token/cost 增加 29.7%,成功前 turns 增加 16.4%;不同任务的敏感度差异很大,成本影响从约 13% 到 115%。
- 最有意思的不是“内容越多越好”,而是 具体性比长度更重要。单独移除多数 section 只带来很小变化,但删除 concrete acceptance scenarios 会稳定增加 turns;反过来,直接给 failing-test transcript 虽然结构很差,却因为已经提供文件/test localization,反而能省掉大量 discovery。也就是说,Agent 真正需要的是能减少搜索空间的 operational context,而不是更长的 prose。
- Prompt 能移动平均成本,却几乎不能消除 agent 本身的随机性:相同 specification 重跑,token spend 的典型 spread 仍约 1.34×。同时 specification detail 与 reasoning effort 存在替代关系:低 thinking effort 下不同 spec 的最大成本差约 2.13×,到 max effort 缩到 1.61×。论文还表明,对一个新任务只做一次约
$0.11的 probe run,就能把其他配置的成本预测中位误差从 161% 降到 36%。对 software factory 来说,这意味着 spec quality 和 task-level cost profiling 都可以进入 CI/eval,而不必把 token spend 当不可控噪声。
注:该研究只覆盖 5 个 SWE-bench 任务和单一模型 Kimi K3,结论适合作为工程假设和测量方法,而不应直接外推成所有 coding agent 的固定比例。