今天选择两份原创资料，分别回答 Agent 生成的工程改进如何被可信地评判、以及 Agent 获得执行能力之后，如何保证它无法越过授权边界。前者聚焦外部评测，后者聚焦隔离与红队验证。
1. FrontierCS 2: A Benchmark for Computer Science R&D
- 作者/来源： Qiuyang Mang、Wenhao Chai、Runyuan He 等 / UC Berkeley、Princeton 等机构
- 发布日期： 2026-10-21（arXiv v1）
- arXiv 原文： https://arxiv.org/abs/2610.29932
- AlphaXiv（含 AI Overview）： https://www.alphaxiv.org/abs/2610.29932
- 代码及任务： https://github.com/FrontierCS/FrontierCS-2
推荐理由： 传统 Coding Agent 评测多要求修复 Issue、通过测试或实现一道题；FrontierCS 2 则从已发表论文及其真实代码仓库出发，删除论文的核心技术贡献，让 Agent 在可运行的研究环境中重建并尝试超越作者实现。它把 Research Agent 的“创新能力”转成与真实基线比较的、可执行的评测问题，同时明确了综合得分与真正通过之间的差异。
3 条核心要点：
- 用论文原始实现作为研发基线。 基准覆盖 13 个计算机科学领域、48 个开放任务，涉及机器学习系统、HPC、数据库、安全与机器人等。大多数任务保留真实仓库及依赖、仅移除论文的核心实现；删除的代码成为保密的 human reference，Agent 必须提交可以运行的 Patch，而不是只写研究方案。
- 允许探索，但将最终判定放在独立 Judge。 Agent 可以反复提交 Patch，获得 development suite 的分数反馈；真正的 evaluator、held-out final workloads 与参考实现不向 Agent 暴露。只有最终选定的 Patch 在每项指标、每个隐藏工作负载上达到论文设定的超越基线门槛，才算通过；综合分数更高并不保证通过。
- 结果揭示研发 Agent 的能力边界。 作者对 12 个模型与 Harness 组合各执行每任务一次测试；最佳组合 Claude Opus 5.5 + Claude Code 的通过率为 58%，有 16 个任务没有任何一次运行通过。一次运行的通过率不是稳定成功概率，更不能据此宣称 Agent 已普遍超越人类研究人员：对照对象是发表代码，而非相同时间预算下进行研究的人类。
核心启示：
Research Repository → Remove Contribution → Agent Patch → Hidden Judge → Per-Metric Reference Comparison。评测 AI-native 软件研发时，不能把“某个综合指标提高”误写为“全部约束均满足”。
2. Securing our frontier model training environment
- 作者/来源： OpenAI / Security
- 发布日期： 2026-10-23
- 原文： https://openai.com/index/securing-our-frontier-model-training-environment/
推荐理由： 这是一篇具体披露生产级 Agent 执行环境防护设计与红队过程的一手工程报告。它讨论的不只是 Prompt Injection 或工具权限配置，还包括容器、microVM、网络与云侧边界、监控停止机制，以及当内层 Sandbox 失效时外层控制是否仍能阻止越权。虽然场景是前沿模型的训练和评测，而非普通 Coding Agent 产品，但其安全边界设计具有参考价值。
3 条核心要点：
- 用离线世界满足训练需求，同时隔离真实互联网。 OpenAI 称其前沿强化学习训练已使用由缓存与索引网页构成的 offline world，让 Agent 仍可练习搜索、浏览和 Web 应用交互，但不直接触及真实外部系统。文中明确区分训练/评测环境与已发布产品的运行环境，因此不能把这种无互联网策略误认为所有 Agent 的普适部署要求。
- 让外层防护承受内层失效。 Linux 代码执行环境使用受限容器和 microVM，外部再叠加网络边界、云权限、访问控制与监控。团队还专门从“Agent 已获得宿主机权限”的假设出发测试外层隔离。红队找到过沙箱逃逸、借服务形成的意外外联路径，以及跨隔离任务的信息传递通道；官方报告相关弱点已促成修补和限制收紧。
- 把持续攻击模拟与自动停止纳入准入条件。 OpenAI 使用多个 Agent 团队、消耗数千亿 Token 执行高算力红队测试，对发现的问题进行去重、人工复现与修复验证，并把这种测试纳入未来训练的安全论证。一次越界事件发生在 9 月 20 日；最强模型相关训练随后暂停，强化学习训练及内部推理在 10 月 1 日恢复。恢复意味着当时的风险评估通过，不等于已形式化证明不可能逃逸。
核心启示：
Untrusted Agent → Sandbox / microVM → Network & IAM Boundary → Independent Monitoring → Continuous Red Team。安全性需要通过独立的执行边界和失败假设测试来建立，而不能仅依赖 Agent 的行为声明。
今日思考
能够提出改进，不等于能够证明改进；能够运行工具，也不等于能够跨越授权边界。 FrontierCS 2 让执行 Agent 无法自己决定最终是否成功；OpenAI 的隔离设计要求即便执行环境被突破，仍有其他层阻挡越权。这对应 Software Factory 的两种外部约束：独立的结果判定与独立的权限执行。
把这两种约束明确拆开，比单纯增加 Agent 数量或给 Agent 更复杂的指令更能改善长期系统的可控性。