今天选择两篇分别于 2026 年 11 月 5 日与 11 月 4 日发表的原创工程研究:Microsoft Research 尝试把 人类确认的需求转成可由 Verus 检查的证明义务;OpenAI 则以 Linux 内核为目标,把 漏洞发现、动态复现、危害验证、补丁生成与人工交付组成可追踪的 Agent 工作流。两者不是同一种验证:前者证明代码相对于给定规格满足性质;后者通过实验收集缺陷确实可触发与修复是否充分的证据。
1. Formally verifying agent-written full-stack web apps with PDD Kit
- 作者/来源: Alex Lavaee、Matthai Philipose / Microsoft Research
- 发布日期: 2026-11-05
- 原文: https://www.microsoft.com/en-us/research/blog/formally-verifying-agent-written-full-stack-web-apps-with-pdd-kit/
- 相关技术: Verus(https://github.com/verus-lang/verus)、GitHub Next Chopin
推荐理由: Coding Agent 能写实现,也能写测试,但它们可能共同误解同一份需求;仅凭绿色 CI 和覆盖率无法证明实现符合用户最初的意图。PDD Kit 将人的注意力从逐行阅读大量生成代码,转向澄清需求、确认规格、检查信任边界,再由机器检验可形式化的保证。它用 Rust 全栈应用 Pet Store 的登录流程展示了完整链条,而不只是讨论形式化方法的原则。
3 条核心要点:
- 先修正规格歧义,再要求 Agent 交付。 PDD Kit 在共享计划中使用 Decision Cards 与 Intent Map 记录人的决定。一个关键例子是「只有正确密码才能得到 Token」只保证
token ⇒ password_correct,却允许系统拒绝所有人;还必须明确「正确密码应成功登录」这一个反向保证,才构成预期的双向条件。每条人类确认的意图关联到可审查的形式化规格或测试,避免 Agent 静默选择弱规格。 - 证明与可信假设明确分层。 Rust 的
login_flow及内部登录判定由 Verus 对给定前置条件和规格进行验证,作者展示了五个可证明的核心函数;数据库查询、bcrypt、JWT 签名、时钟等外部行为不能从这些证明中直接推出。PDD Kit 通过external_fn_specification与#[verifier::external_body]标出这些 Trusted Computing Base 假设,让开发者逐项接受,并为其编写经验测试。证明只对明确写出的性质成立,不代表整个网站、第三方库、性能和活性都被证明。 - 把证据交付和代码提交绑在一起。 计划先记录人类已确认的保证,Verus 对可证明部分进行机器检查,测试覆盖受信任的外部边界;报告区分「已证明」「已测试」「未承诺」,并将测试执行命令及对应 Commit 作为收据。Pet Store 登录示例展示了具体 Bug 被暴露与约束被加固的过程,但这仍是单个应用中的案例,不是大规模 Coding Agent 故障率对照实验。
核心启示:
Human Intent → Explicit Spec → Agent Implementation → Machine-checked Proof + Trusted-boundary Tests → Evidence Receipt。证明的价值取决于规格写得对不对、边界假设是否成立;「Verus 通过」不能替代人的意图确认。
2. A thousand fewer paths to root
- 作者/来源: OpenAI / Security Research
- 发布日期: 2026-11-04
- 原文: https://openai.com/index/a-thousand-fewer-paths-to-root/
推荐理由: 这不是单个 Agent 找出一处漏洞的演示,而是面向数千万行内核代码的分工、筛选、复现、影响评估、补丁和维护者交付流水线。研究报告了每阶段的规模与 API 成本,并展示一个关键失败:Agent 虽然成功获得 root,却可能借助了不同于被分配目标的漏洞。这让「结果正确」与「证据链指向正确原因」的区别非常具体。
3 条核心要点:
- 把海量候选收敛为可以复核的证据。 Scout Agent 先定位 5,034 个可触达且具有安全相关性的审计目标(约 280 万行、内核代码约 7%);Analyst 在约 12 小时内产出 2,308 个去重候选。随后 Triage Agent 在隔离虚拟机和 KASAN 环境下生成最小复现并运行,报告 1,724 个动态复现结果,约为候选的 74.7%。静态怀疑、运行时复现与可利用性是三个不同的证据层,不能直接以候选数量替代已确认的安全影响。
- 验证攻击影响后仍需对结论去重与复查。 在其配置的 Linux 测试环境中,Agent 报告生成 1,169 次可工作的本地提权利用,通过变种分析整理成 948 个不同漏洞及对应候选补丁;主要扫描约耗费 121.3 万美元 API Credits。这些是作者针对特定内核版本、发行版和环境的内部实验结果,并非 948 个已被上游接受的补丁,也不应推断任意 Linux 环境有同样的攻击成功率。
- 成功状态不能替代因果归属与补丁质量检查。 早期一次运行中,人工复核发现 200 次声称成功的提权中有 20 次实际上利用了其他 0-day,因而后来增加「最终利用确实依赖指定漏洞」的独立检查。补丁阶段还需审查是否仅阻断当前 PoC、是否遗漏同类变体、是否引入性能或代码风格回归,并与内核维护者确认;扫描期间已有修复也要求在最新代码上重新验证,以免重复或过期上报。工作流保留人工报告与合并责任。
核心启示:
Scout → Candidate → Isolated Reproduction → Impact Validation → Root-cause Attribution → Candidate Patch → Human Review。在安全修复流水线里,复现缺陷、验证因果路径、审核补丁应分别成立;不能把 Agent 的完成声明当作最终质量证明。
今日思考
两篇文章给「Agent 已经把事做完」提供了不同的验收方式:PDD Kit 用形式化规格检查正确实现是否覆盖已承诺的性质;内核漏洞流水线用隔离复现与根因证据证明问题确实存在,并在修复后交还维护者审核。
真正有用的 Software Factory 不应只有生成和合并两步,而应显式保留:
Human-reviewed Intent → Agent Execution → Independent Evidence → Boundary / Root-cause Check → Reviewable Delivery
需要特别区分:证明相对于规格的正确性,不等于规格本身正确;成功触发一次利用,也不等于证明某个候选漏洞就是唯一原因;生成补丁,更不等于它已经通过上游审查。