1. How We Built Safety Into Muse
- 作者/来源: Tarek Sheasha / Meta Superintelligence Labs
- 发布日期: 2026-09-08
- 原文: https://research.meta.ai/blog/security-and-safety-for-ai-agents-our-approach-with-muse
推荐理由: 这是近期最值得读的 production agent safety 架构文章之一。Muse 不是只读聊天机器人:它能访问 inbox、calendar、shell,后台运行,启动 subagents,甚至自己写 tools。Meta 因此没有把安全主要寄托在 system prompt 或模型“听话”上,而是默认主 Agent 可能被 prompt injection 攻破,把身份、凭证、网络出口和高风险动作的授权全部移到模型之外。
核心要点:
- Agent runtime 与权限控制必须是两个 security domains。 Muse 的核心 harness 和工作区运行在隔离的
systemd-nspawnruntime cell 中,敏感服务留在 host side;runtime cell 即使拿到 root,也不是 host root。credential store、durable state、connector workers、safety classifiers 和 Sentinel 都与主 Agent 分离。 - Sentinel 是真正的 permission authority,而不是第二段 prompt。 Muse 只能提出 connector action 或网络请求,Sentinel 决定 allow / deny / ask-user,并在网络边界做 just-in-time credential insertion。主 Agent 永远只看到 surrogate token,看不到真实 OAuth token;用户批准也被实现为绑定 connector、destination、scope 和时间范围的 capability,而不是一句自然语言许可。
- Prompt injection 防御要跨 model、harness 和 OS。 外部内容进入 context 时会被标记为 untrusted;独立 classifiers 检测 injection;eBPF 做网络拦截和 data-flow taint tracking;浏览器 sub-agent 看 accessibility tree 而非 raw DOM,不能执行 page JavaScript;真正的数据外发仍由 Sentinel 和 human approval 控制。换句话说,即使模型被说服做坏事,底层 deterministic boundaries 仍应限制 blast radius。
核心启示:生产级 Agent 安全的目标不应是“让模型绝不犯错”,而是“假设模型会犯错甚至被攻破,并让权限、凭证和外部副作用仍然由模型外的系统控制”。Harness 正在变成类似 OS security boundary 的基础设施。
2. ExecCritic: Learn to Test, Test to Improve for Coding Agents
- 作者: Leitian Tao、Baolin Peng、Haorui Wang、Hang Wang、Hao Cheng、Wenlin Yao、Qianhui Wu、Tao Ge、Sharon Li、Jianfeng Gao
- 发布日期: 2026-09-08
- arXiv: https://arxiv.org/abs/2609.09133
- AlphaXiv: https://www.alphaxiv.org/abs/2609.09133
- 代码: https://github.com/MSR-Orchard/execcritic
推荐理由: Coding agent 常见做法是“生成 patch → 写测试 → 跑测试 → 根据结果继续改”,但这篇论文指出一个很根本的问题:如果同一个 Agent 同时误解了需求、写错 patch、又写了与错误理解一致的 test,那么 execution feedback 会制造更强的 false confidence。 ExecCritic 的价值在于把 verifier 的独立性做成 harness 结构,而不是只要求模型“认真检查”。
核心要点:
- Execution feedback 本身不是可靠信号,test quality 才是。 在 SWE-bench Verified 上,保持 Repair Agent 不变时,base Test Agent 生成的测试让 resolved rate 从无测试的 61.2% 降到 57.3%;而 GPT-5.6-sol 生成的高质量测试则把它提高到 65.3%。错误 verifier 会让 Agent 比没有 verifier 更差。
- 把 Test 与 Repair 拆成独立角色,并冻结 verifier。 Test Agent 先生成 repository-native regression test,fail-closed harness 只接受能正确运行并在 buggy repo 上暴露问题的测试,然后将其冻结;Repair Agent 只能修改 source code,不能修改 test 来让自己的 patch 通过。这从机制上避免“自己出题、自己改答案、自己判满分”。
- Verifier 也值得单独训练和评测。 对 Qwen-3.5-35B-A3B 做 role-specific post-training 后,Test Agent 的 Base-to-Gold success 从 22.2% 提升到 62.2%;组合训练后的 Test + Repair Agents 最终达到 72.6% SWE-bench Verified,比原始无测试 baseline 高 11.4 个百分点,而且 evaluation time 不依赖更强模型或 Oracle feedback。
核心启示:AI-native software factory 里的 test / eval 不应该只是 Agent loop 的一个 tool call,而应是独立、不可被执行 Agent 篡改的 verification plane。随着 coding agent 自主性提高,“谁验证 Agent”会和“谁写代码”一样重要。