1. The harness decides what the model sees

推荐理由： 这篇把 context engineering 放回 coding agent 的真实执行模型里解释：模型并不是“持续待在仓库里工作”，而是在每一次推理调用时，由 harness 重新组装一份有限视图。真正决定 Agent 能看到什么、能做什么、如何从错误中恢复的，不只是 prompt 或 AGENTS.md，而是 harness 对 instructions、tool results、repository evidence、persistent state、summaries 和 verifier feedback 的选择与编排。

核心要点：

  • Context 是 harness 每一步动态构造出来的，而不是一个静态大窗口。 文件系统、session history、tool output 等状态可以长期存在，但每次模型调用只能接收其中一部分；长任务必须持续做保留、压缩、重新检索和丢弃。因而 context engineering 的问题不是“怎样塞更多信息”，而是“当前这一步应暴露什么证据”。
  • Repository instructions 只是 guide，不是事实源和控制机制。 AGENTS.md 可以告诉 Agent“不要跨某个架构边界”，但无法可靠回答依赖关系、影响范围、循环依赖或实际 diff 是否违规。这些问题需要 search、language tooling、compiler、tests、static analysis、architecture graph 等确定性 sensors 来提供证据。
  • Harness 的核心价值是把 guides、state、tools 与 sensors 连成反馈回路。 一个成熟的 coding-agent system 不只是让模型调用工具，而是让错误能够被确定性系统检测，并把精确反馈重新送回 Agent，使其修复而不是仅仅报告失败。

核心启示：Context engineering 应该被看成 harness engineering 的一部分：persistent state → selective context → tool action → deterministic feedback → context update。模型能力之外，真正决定长时程 Agent 质量的是这条信息与反馈管线。

2. How ARIMLABS runs 500,000 agent executions a day on Islo

推荐理由： 很多 Agent eval 讨论停留在 benchmark、grader 和 pass rate，这篇则展示了评测真正规模化之后的另一半：每个 rollout 都需要一个可执行、隔离、可观察的真实电脑环境。ARIMLABS 从本地实验扩展到持续运行、每天约 50 万次 Agent executions，说明 eval infrastructure 本身已经变成 AI-native software factory 的基础层。

核心要点：

  • 长时程 Agent 的 eval 单位不是一次 LLM 调用，而是一台可行动的计算机环境。 Agent 需要 inspect systems、执行命令、调用工具并在数小时甚至数天内持续决策；为了获得统计上有意义的结果，同一任务还必须并行运行大量独立 trials。
  • Evaluation orchestration 与 execution environment 应该解耦。 ARIMLABS 使用 Harbor 定义 models、agents、tasks 和 evaluation logic，而 Islo 负责按需创建并管理隔离计算机。每个 trial 都有独立 sandbox 和 network policy，使 benchmark 能控制 Agent 可以访问什么，同时避免不同 rollout 相互污染。
  • 可复现失败比纯吞吐更重要。 系统保留 trial、batch、rollout 到具体 sandbox 的对应关系；当 Docker image、sandbox 或执行过程出问题时，研究者可以定位到单次环境、查看日志、区分“模型失败 / 任务问题 / 环境问题”，然后带着完整上下文重跑。这是大规模 eval 结果可信的前提。

核心启示：Agent eval 的完整栈不只是 task + model + grader，而应是 task definition + isolated computer + network policy + orchestration + observability + reproducible rerun + grader。当 Agent 开始长期使用真实工具，sandbox 与运行可追溯性本身就是评测方法的一部分。