1. How SWE-Serve Exposes the Gap Between Local Tests and Live Serving

推荐理由： SWE-Serve 把 coding-agent eval 从“补丁是否通过仓库测试”推进到“系统能否在真实 serving path 中正确工作”。它从 SGLang 的 83 个已合并 PR 构造 53 个 inference-engineering 任务，对 GPU / inference software 的评测很有参考价值。

核心要点：

  • 19 个包含 live-serving 检查的任务中，同一批 patch 在不含 live-serving 检查时通过率为 69.4%，加入完整检查后只有 45.9%；本地测试通过并不等于真实服务正确。
  • 只涉及单个 runtime domain 的任务平均通过率为 69.0%，跨多个 runtime domain 时降到 47.7%，说明跨模块状态一致性仍是 coding agent 的明显弱点。
  • Benchmark 不只需要 task 和 expected output，还需要真实环境、硬件条件和可执行 verifier；最终应验证系统行为，而不是只比较代码 diff。

核心启示：对 serving、compiler、database、distributed system 等复杂软件，coding-agent eval 应尽量覆盖真实运行路径，而不能停在 unit/regression tests。

2. Better prompt caching for GPT-6

推荐理由： 这篇把 prompt caching 从 API 性能优化提升成 persistent agent 的 harness 问题。长时程 Agent 会持续携带大量重复 context，因此 cache hit rate 会直接影响延迟和成本。

核心要点：

  • GPT-6 的 prompt caching 支持对重复前缀复用计算，并提供 dashboard 与 diagnostics 来观察 cache hit rate 和定位 miss；GitHub Copilot 表示其需要重新处理的 prompt token 比例相比此前 baseline 已降低超过 50%。
  • Agent harness 应尽量保持稳定的前缀结构，把高频变化内容放到后部；这样可以在持续更新 context 的同时提高复用率。
  • Prompt cache 可以与 reasoning 策略分开管理。OpenAI 给出的生产案例中，Manus 将 cache hit rate 从约 85% 提升到 90%+；另一个团队从 83% 提升到 91%，并报告 inference cost 降低 36%。

核心启示：Context engineering 不只是“放什么内容”，还包括 context 如何组织以便复用。Stable prefix、dynamic context 与 cache observability 应成为长时程 Agent harness 的基础设计。