今天选取两篇过去七天首次公开的原创工程研究,一篇来自 Google Research 的多代理系统实践,一篇来自 Chalmers University of Technology 与 University of Edinburgh 的神经符号测试研究。它们都不把“Agent 说自己做完了”当作验收依据,而是借助模型外的可执行检查器判断结果。

一个问题值得贯穿全文:当 Agent 负责生成规格、代码甚至验证工具时,什么证据仍能独立于它的自我判断? 注意:Google 的系统性能数字来自发布方报告,第二篇是尚待独立复现的研究预印本。

1. Advancing science & engineering with Antigravity’s /teamwork

推荐理由: 这不是简单的“让更多 Agent 并行写代码”。文章提供了一种长周期工程工作流:把任务拆成独立上下文,安排验证者使用原始测试、Lean 4、模拟器或硬件计数器审查候选结果,再由协调者继续推进。尤其值得关注的是 TPU Kernel 优化案例:Agent 不只修改 Kernel,还构造并持续校准低成本性能代理指标,在昂贵硬件评测与大规模搜索之间取得折中。

3 条核心要点:

  1. 把并行探索与独立证伪结合,避免同一个上下文内自证正确。 /teamwork 为各角色提供完成特定步骤所需的文件和工具,并让新接手的 Agent、Critic、Auditor 在相对干净的上下文中复查结果。候选方案经 Lean 4 检查器、未修改的测试、执行模拟器和真实硬件测量等外部验证,而非仅凭模型的评价。这是对长时运行任务上下文漂移和“多个模型一起确信错误”的直接回应。
  2. Kernel 优化可以使用“快速代理评测 + 定期真实测量”的双层循环。 在 JAX/Pallas TPU Kernel 案例中,完整硬件评测需要 7–32 分钟;四个并行 Agent 构造约 23 秒的代理评估器(yardstick),以 Kendall 秩相关持续检查代理排序是否仍与周期性真实测量一致。Google 报告:在 17 个 JAXBench Kernel 上达到相对参考实现 4.09× 几何平均加速,在 7 个经过手工优化的 vLLM TPU-Inference Pallas Kernel 上为 2.99×。这些数字是特定工作负载、基线及发布方报告,不应泛化为所有 TPU/GPU Kernel 的收益。
  3. 软件迁移与系统修改仍须链接到原始验收。 文章给出 Zircon 微内核 C++→Rust 的长期迁移:Agent 在原有约 25% 的基础上继续工作两周,新增约 80 万行安全 Rust,报告称通过 Kernel 单元测试并能在 arm64 硬件启动;另一案例 libgav1 的 Rust 迁移先通过比特级兼容测试,再利用 Profiling 改善性能。对这些超大工程结果,关键不是生成了多少代码,而是使用未修改的测试、硬件与兼容性要求限制“改测试使自己过关”的空间。文中尚未给出足以独立复现全部案例的完整公开环境。

核心启示: Task-specific Context → Parallel Candidates → Independent Falsifier → Measured Result → Next Iteration。多代理规模化的必要条件,是让验证成为架构中的独立角色,同时保留对真实系统测量的校准机制。

2. Bug Finding With Agentic Symbolic Execution

  • 作者/来源: George Granberry、Wolfgang Ahrendt、Andy Gordon(Andrew D. Gordon)、Moa Johansson / Chalmers University of Technology、University of Edinburgh;arXiv 研究预印本
  • 首次提交: 2026-11-11 15:15 UTC(北京时间 2026-11-11 23:15)
  • arXiv 原文: https://arxiv.org/abs/2611.15596
  • AlphaXiv: https://www.alphaxiv.org/abs/2611.15596
  • arXiv HTML 全文: https://arxiv.org/html/2611.15596v1
  • 相关技术: CrossHair、Symbolic Execution、SMT/Z3、Program Contracts、ORM Environment Modeling、Executable Witness、Agent Skills

推荐理由: 符号执行很适合查找空字符串、缺失字段等边界输入缺陷,但在真实 Web 服务中常被数据库 ORM、复杂对象初始化和缺少函数契约阻挡。作者的关键思路不是让 LLM 代替 SMT,而是让 Agent 自动补齐符号执行缺失的规格与环境模型,交给 CrossHair 探索路径,并用真实应用中的可复现测试过滤假阳性。这为 Compiler/Program Analysis 与 Coding Agent 的互补关系提供了具体设计。

3 条核心要点:

  1. Agent 负责搭建环境和生成契约,符号求解器负责找反例。 Harness 按五阶段运行:合成 ORM/数据库符号环境与延迟初始化约束 → 为函数生成前置/后置条件 → CrossHair 探索路径 → 独立审计误报来源 → 在未修改应用上执行复现测试。Agent 写出的模型和契约会先经过编译、Lint 与 CrossHair 解析等脚本 Gate;报错再修复。原则是 LLM proposes, solver checks, concrete execution confirms,而不是把模型生成的契约本身视为真理。
  2. 自动环境建模显著扩展了符号执行的可达范围。 作者在 11 个开源 Python Web 应用、约 115.6 万行代码上测试,包含 Zulip、NetBox、Apache Superset。对 5,406 个生成契约的函数,不带环境模型的 CrossHair 能执行 4.5%,启动 Web 框架但不合成完整环境可执行 29.5%,加入 Agent 生成的环境后达到 81%。这里衡量的是“能进入函数分析”的比例,不是 81% 的路径完全覆盖;文中只有 3.6% 的函数达到穷尽探索。
  3. 每条缺陷结论都要求运行时证据,且承认 LLM 检查有互补优势。 研究报告 1,050 个能在未修改应用上复现的 Bug,其中 221 个由 CrossHair 找到,其余 829 个在契约生成时被 Agent 标记;其中 312 个未被同模型的纯 LLM 代码检查基线发现。必须同时指出:纯检查基线总体复现了更多 Bug(1,824 个),因此不能声称符号执行在总体发现数量上胜出。其优势是补足边界输入/异常路径类缺陷,并提供具体复现证据;契约失真、符号环境的过度近似、探索预算仍然构成限制。

核心启示: Repository + ORM Schema → Agent-written Contracts & Stubs → CrossHair/SMT → Audit → Witness on Unmodified Code。让 Agent 解决形式化工具的“入场成本”,而不是要求模型承担形式化判定。

今日思考

两篇看似一个讲大规模多代理研发、一个讲程序分析,真正共通的是 Verifier 不应是生成过程的附属口头步骤,而要成为有自己输入、能力边界和证据产物的组件:

  • Google /teamwork: 用独立上下文与 Lean、未修改的测试、真实硬件计时器,防止并行工作流把未经核实的结果不断向后传递。
  • Agentic Symbolic Execution: 用生成的环境模型打开 CrossHair 的分析入口,再以 SMT 反例和真实应用复现来弥补纯 LLM 阅读代码的盲区;审计器专门过滤模型生成的过强契约与环境近似造成的假阳性。

值得进一步思考的问题: 如果 Agent 自动生成了一套“快速验证器”,怎样识别验证器与被验证代码之间的相关性错误?Google 的代理性能评估器靠与真实测量的秩相关周期性校准;符号执行环境则靠在未经修改的真实程序上复现反例。下一步能否把二者统一成一套有证据分级、预算与回退机制的 Agent Harness?在 GPU Kernel 优化中,哪些性能代理指标能安全用于筛选,哪些结果必须上真实硬件验证?

证据边界与链接核验: Google Research 原文标注 2026-11-13,文中工程性能与案例是发布方报告;第二篇 arXiv 编号、四位作者、首次提交时间和实验数据已从 arXiv 摘要与 HTML 正文核对。AlphaXiv 使用其 arXiv 编号对应的标准 /abs/2611.15596 地址;本次网络访问未能独立确认 AlphaXiv 页面可打开,不创建猜测的 Overview / Blog 页面。