1. Introducing CAFE(S): A framework for defining AI context quality
- 作者/来源： Brian Houck / DX · Atlassian
- 发布日期： 2026-09-24
- 原文： https://www.atlassian.com/blog/ai-at-work/cafes-framework
推荐理由： 这篇文章把 context 当成需要持续维护和评审的工程资产，并给出了统一的质量语言。
核心要点：
- CAFE(S) 用五个独立维度描述 context 的质量，帮助团队区分歧义、不可执行、信息陈旧和噪声过高等不同问题。
- 文章把系统抽象为 Intent → Context → Harness → Model → Result，强调从人的意图到模型可用信息之间的翻译层。
- Context 文件和关键知识源应该有明确 owner、评审流程与更新节奏，并尽量把信息放在真正需要它的位置。
核心启示：Context engineering 不只是 retrieval，而是 context artifact 的完整工程生命周期。
2. Testing With Live Agent Runtimes in Conductor
- 作者/来源： Alex Devlin / Orkes
- 发布日期： 2026-09-24
- 原文： https://www.orkes.io/blog/testing-with-live-agent-runtimes
推荐理由： 这篇展示了如何把 Agent 测试从模拟事件推进到真实运行环境，让模型、工具、handoff 和执行记录一起进入评测。
核心要点：
- Mock 测试适合快速验证工作流路由，live eval 则运行真实 Agent 和工具，两者覆盖不同层级。
- Eval 不只检查最终答案，还检查 handoff 顺序、工具使用和自定义断言，让完整执行轨迹成为测试对象。
- 实践上可以保留快速的 deterministic tests，再在发布前用 live eval 检查真实行为，并利用 execution record 定位失败。
核心启示：Agent eval 应像传统软件测试一样分层，而不是依赖一个单一 benchmark。