核心问题:kernel 优化停滞时,为什么改变负责搜索的团队,可能比继续修改程序更有效?

论文卡片

  • 原题: Evolving Agent Teams
  • 作者: Shiyi Cao、Ziming Mao、Dacheng Li、Joseph E. Gonzalez、Ion Stoica;加州大学伯克利分校。
  • 日期与版本: 2026-10-27 提交,arXiv v1;17 页;cs.AI;系统与实证研究预印本。
  • 定位: 长时间 GPU kernel 搜索中的 Agent 组织、经验保存与动态分工。
  • 阅读入口: arXiv · HTML 全文(v1) · PDF(v1) · alphaXiv

简短导读:把搜索组织也当作变量

论文的监督 Agent 根据进展与失败记录,改变工作 Agent 的角色、协作方式和知识管理。代码、经验文档与重组历史保留在共享文件系统中。所谓“演化”不是代码种群的交叉繁殖,而是持续调整谁研究、谁调试、谁整合信息,以及他们如何交换证据。

MLA 案例中,一个关于 WGMMA 的建议曾留在旧报告里,后续团队没有吸收。监督者引入知识整合角色,把零散发现重新连接。作者据此提出:一些停滞来自搜索过程的组织缺陷,而非缺少继续微调代码的能力。

证据与限制

表 2 提供了较清晰的受控比较:同为 Claude Opus 4.6、相同 800 美元模型推理预算,在 H100 的 47 个 MLA 工作负载上重新测量,各候选均通过这 47 项正确性测试。

系统第一次运行第二次运行
CUDAForge0.448×0.283×
K-Search0.602×0.598×
Evolving Agent Teams0.721×0.685×

指标是相对生产 FlashInfer 的跨工作负载几何平均加速比。这里所有值都低于 1:超过其他搜索系统,不等于超过专家实现。 预算按模型调用计价,也不是 GPU 时间等全部成本。

额外预算下,论文报告 MLA 达到约 1.21×,但这属于另一种预算条件。图 1 还区分生产基线与仅计 run()、排除 plan() 开销的基线;对后者最终约为 0.96×。这些数字不能无条件互换。

固定团队的证据尤其需要谨慎:§4.5/图 6 写 0.31×,引言却写 0.55×;§4.1 将固定团队列为 Opus 4.7、主体方法列为 Opus 4.6,§4.5 又称两者同模型。因此,本导读不采用“这项消融已单独隔离团队演化贡献”的强结论。主比较只有两次运行,固定团队消融只有一次,也限制了稳定性与因果判断。以上据原文 §3–5、表 2、图 1;未独立复现实验。

重点阅读章节

  • §3.2–3.3: 分清可改变的团队配置与跨团队保留的经验,观察重组对应什么具体失败。
  • §4.1、§4.6 与表 2: 核对模型、预算、性能分母和重复运行次数。
  • §4.5、附录 B: 将作者的因果解释与固定角色团队的失败轨迹对照阅读,同时注意上述报告不一致。

思想启发:信息存在,不等于信息参与了推理

以下是导读者的理解。

共享文件系统解决的是“信息能否被找到”,并不自动解决“谁有责任把两条事实放在一起”。假如一个 Agent 知道硬件要求,另一个知道代码实际采用的布局,双方都可以在自己的局部问题上答对,却仍然漏掉二者之间的矛盾。分工不仅分配劳动,也分配注意力。

这使“增加专家”成为一个有条件的主张。更多角色可以减少各自的上下文负担,也会制造新的边界;如果真正的错误横跨边界,专业化反而可能延长停滞。重组的价值可能不在新增了多少知识,而在让既有知识终于同时进入一次判断。

还有一层不能由最终加速比直接解决的问题:性能平台期并不自动证明已经到达算法的局部最优。它可能意味着搜索者反复选择容易调试的路线,也可能意味着测量噪声、工具限制,或缺少关键硬件事实。监督者给出的诊断本身仍是一个假设。随后出现改进使这个解释更可信,却不唯一确定它就是原因。

三个开放性思考问题

1. 什么证据能区分“程序设计空间已经耗尽”和“当前团队不会继续搜索”?

参考思路

一段平坦曲线可以由两者共同产生。新组织找到更好程序,能反驳此前已经达到全局极限的判断,却未必说明旧组织原则上找不到它;随机探索和额外预算也可能产生突破。需要区分观察到的停滞、关于搜索能力的解释,以及关于性能上限的证明。

2. 知识整合角色产生收益,说明需要更多 Agent,还是说明原有分工切错了边界?

参考思路

两种解释都可能成立。整合者可以为合理的专业化提供必要连接,也可能只是在修补过度分工制造的信息损失。如果一个单 Agent 同时看到相关规格与代码就能发现矛盾,那么新增角色的收益不能直接外推成“角色越多越好”。关键是哪些事实必须一起被判断。

3. 重组之后性能提高,为什么仍不足以证明“动态角色”就是有效成分?

参考思路

重组往往同时带来新的提示、上下文、行为约束和搜索方向。真正起作用的可能是强制 profiling、重新阅读旧证据,或允许某条暂时变慢的路线继续探索。动态角色可以是承载这些变化的方式,但系统级有效与机制级归因仍是不同强度的结论。文中案例可以解释可能的机制,有限对照尚不能穷尽其他解释。