014 · 通过验证的经验，就会变成可迁移知识吗？

核心问题：一条经验只有在对应结果通过综合、仿真或形式检查后才进入记忆，是否足以说明它能跨任务迁移，而不只是把一次成功压缩成可检索文本？

论文卡片

• 原题： ChipMEM: Verification-Grounded Memory for EDA Agents
• 作者： Abdulrahman AlRabah、Joshua Mabry、Dilek Hakkani-Tür、Abdussalam Alawini、Hamid Shojaei、Kartik Hegde、Sandesh Adhikary。
• 机构： University of Illinois Urbana-Champaign、NVIDIA、Cadence。
• 版本： 2026-09-22，arXiv v1；22 页；分类为 cs.LG、cs.CL；预印本。
• 定位： 研究 EDA Agent 如何从工具验证过的轨迹中形成程序性记忆，并用历史工具调用结果指导重试与恢复的实证系统论文。
• 阅读入口： alphaXiv · arXiv · HTML 全文 · PDF

论文讲了什么

让 Agent 从历史轨迹中提炼 skill，看似是在积累知识，但同一任务上的反复反馈可能只奖励局部修补：它记住了怎样让这一个 benchmark 通过，却没有学到换一个设计后仍成立的策略。ChipMEM 把研究问题从“记忆能否帮助再次解同一道题”改成“经过验证的经验能否帮助后来的任务和未见设计”。

系统包含两种不同粒度的记忆。

程序性记忆保存由完整轨迹提炼出的 skill，包括策略、适用条件、来源和验证结果。任务以顶层 RTL 文件或任务定义文件的 embedding 为索引，检索时返回相似度超过 0.6 的至多两条 skill。只有最终产物通过领域验证门，轨迹才有资格生成新的程序性记忆：PPA 优化要求综合成功、功能等价且审计后的指标有正向改善；测试平台生成则必须通过隐藏仿真、覆盖率和 mutation 检查。作者分别考察会继续写入新 skill 的 evolving 模式，以及评测时只读的 frozen 模式。

统计记忆不保存长篇策略，而是记录每次工具调用的成功、失败、错误类别、重试次数和后续恢复动作。分层 Beta 模型从“工具类型”逐步细化到“工具 + 错误 + 重试桶”，估计原样重试成功的概率；低于 0.20 时，再按相似错误和执行阶段排序历史恢复策略，交给一个受限的 LLM recovery planner 形成建议。失败轨迹不会生成程序性 skill，但其中已完成的工具调用仍会更新统计记忆。

两者回答的问题不同：程序性记忆试图保留跨任务的设计和流程知识，统计记忆则阻止 Agent 在当前轨迹中机械重复一个低概率动作。ChipMEM 通过 adapter 注入这两类信息，不修改底层 EDA Agent、模型或工具。

主要结果

论文在 RTL-OPT、RTLRewriter-Bench、OpenTitan、自建 20 个设计的 PPA 集合，以及 CVDP 测试平台生成任务上评价系统。主要 GPT-5.5 实验使用同一个 Cadence ChipStack 2.0 Agent；OpenTitan 使用 Qwen3.8-27B。Memory OFF 与 ChipMEM 保持模型、任务、prompt、工具和预算一致，差别是是否检索／写入 skill，以及是否接收 Bayesian 恢复建议。

在 RTLRewriter-Bench 的 54 个可评分设计上，ChipMEM 产生 39/54 个形式等价通过的结果，Memory OFF 为 35/54。其中 49 个短设计的平均面积改善从 5.66% 提升到 8.69%，面积获胜数从 12 增至 15；五个长设计两边都只有 2 个等价通过、1 个面积获胜，说明总体提升主要来自短设计。

在 RTL-OPT 上，平均面积改善从 6.18% 提升到 8.79%，两种设置都是 33/38 个等价通过；变化来自通过等价后的优化幅度，而不是更多设计通过形式检查。论文同时说明，ChipMEM 数字按设计从三组结果中选择最佳有效结果，因此它展示的是系统取得过的较强结果，不等同于一次固定随机运行的期望收益。

OpenTitan 的完整 PPA gate 从 1/10 提升到 4/10，但功能等价通过数两边均为 6/10。在每种设置 50 个 session 的交互统计中，ChipMEM 的平均 LLM 调用从 29.4 降到 26.1，工具调用从 27.4 降到 23.3，工具时间从 420.2 秒降到 369.8 秒；输入 token 和总 token 分别下降 6.8% 与 3.4%。这组结果支持“历史失败模式能减少部分无效交互”，但没有说明每项下降都由哪一种记忆单独造成。

最直接检验迁移的是 CVDP：作者先用 20 个训练任务形成程序性库，再将它冻结，在另外 20 个未见任务上各评测一次。stimulus 生成两边都是 10/10；checker 生成从 8/10 提升到 10/10，整体从 18/20 提升到 20/20。由于评测期不再写入新 skill，这两个新增通过确实不能归因于在 held-out 任务上继续学习；但样本只有 20 个，且每种设置只运行一次，尚不足以判断改进在重复采样中是否稳定。

五个 RTL-OPT 设计上的部件消融中，Memory OFF、仅程序性、仅 Bayesian、两者结合分别通过 3、4、4、5 个严格 gate；每个通过设计的 token 从 657k 降至 442k、344k、312k。不过“两者结合”是已经积累先前经验后的 loaded-state replay，作者把它描述为完整系统的能力展示，而不是与其他三项完全同起点的因果消融。

证据边界

“验证过”首先保证的是产生该 skill 的那次最终产物满足特定 gate。它没有直接证明提炼后的自然语言 skill 忠实包含成功原因，也没有证明检索到另一个设计时仍适用。检索依据是顶层 RTL 或任务定义的 embedding 相似度；结构相似不必然意味着优化约束、工艺条件和失败机制相同。

程序性记忆与统计记忆的可信度也不同。前者只有在最终验证通过后才新增，后者记录每个工具调用的局部结果。一次工具调用成功不代表最终 RTL 等价或 PPA 改善；Bayesian 模型学习的是“在某类错误后哪个动作更可能让工具阶段继续”，不是设计语义正确性的概率。

论文最干净的 frozen-transfer 证据来自 20 个 CVDP held-out 任务，实际差异集中在两个 checker 任务。没有多次独立运行、置信区间或显著性检验，因此 20/20 对 18/20 应理解为有限样本中的正向信号。PPA 部分覆盖更多设计，但多为 evolving memory、顺序执行或最佳有效结果汇总，较难完全分离任务迁移、历史累积和采样波动。

此外，主要实验依赖专有的 Cadence ChipStack 2.0 Agent，虽有相同 Agent 的 Memory OFF 对照，却限制了外部复现与跨 Agent 泛化判断。论文固定 top-2、0.6 相似度阈值，也没有系统评价检索错误：不相关但“已验证”的 skill 可能怎样损害新任务，仍是核心未解问题。

重点读哪里

先读 §1，理解作者为何把“同题改进”与“跨任务知识”分开；再读 §3，区分程序性记忆的验证门和统计记忆的工具级概率。实验部分先看 §4 的 Baselines and ablations，确认对照保持了哪些变量；再看 §5 的 Memory ablation 与 Held-out CVDP transfer。附录 A.4–A.6 给出完整成本、成功率与实验网格，能帮助判断聚合结果的口径。

思考启发

以下是导读者由论文引出的理解角度，不是作者额外验证过的结论。

ChipMEM 最有价值的区分，是把“经验被写进记忆”和“经验值得被信任”拆开。模型可以生成一段听起来合理的总结，但只有外部工具决定这段经验是否拥有进入程序性库的资格。验证门没有证明总结本身为真，却为它绑定了可追溯的成功来源，使记忆不再完全依赖模型自评。

论文也显示，记忆不只有“知识文本”这一种形态。对重复失败而言，统计“相同调用在相似错误后成功过多少次”可能比再追加一段长 prompt 更直接。不过，这种统计只在它所抽象的层级上有效：工具恢复概率可以减少停滞，却不能替代最终的等价、覆盖率或 PPA 判据。

三个思考问题

1. 验证的是产物，还是从产物中提炼出的经验？

当一条轨迹通过形式等价或隐藏测试后，由 LLM 总结出的 skill 是否也继承了同样的可信度？

2. 何时“相似设计”不足以支持 skill 迁移？

若两个 RTL 的 embedding 接近，但时序目标、工艺库、协议约束或微架构意图不同，已验证策略可能以哪些方式失效？

3. 两个 held-out 任务的增益能说明记忆已经泛化吗？

冻结记忆后从 18/20 提升到 20/20，排除了哪类解释，又仍无法排除哪些解释？