核心问题：如果目标是一组有用的设计取舍，怎样定义“好的下一份 RTL”？
论文卡片
- 原题： Pareto-Optimal RTL Code Generation via Multi-Objective Reinforcement Learning with Large Language Models
- 作者： Koki Takeshita、Kenji Uebayashi、Hikaru Tomonari、Masaya Tsunokake、Koichiro Yawata、Tatsuya Sasaki、Yusuke Ohtsubo、Kota Dohi、Yasuhiro Sogawa；Hitachi 研究开发部门。
- 日期与版本： 2026-10-16 提交，arXiv v1；21 页；cs.AI；arXiv 注明已被 COLM 2026 接收。
- 定位： AI for EDA；以多目标强化学习改进 RTL 候选集合的质量与多样性，属于方法与实证研究。
- 阅读入口： arXiv · HTML 全文（v1） · PDF（v1） · alphaXiv
简短导读：奖励一个候选补上的空间
功耗、延迟、面积之间可能存在取舍。论文让模型读取规格、已有电路及其 PPA，继续生成候选；通过 testbench 后，以加入候选带来的超体积增量（HVC）奖励它。这里的超体积衡量目标空间中被候选集合支配的区域。训练还逐代扩充历史，使模型学习在不同已有集合上继续探索。
核心变化是奖励的参照物：同一个电路，如果只是重复已有取舍，新增贡献可以为零。方法仍使用标量奖励，但这个数衡量的是对集合的边际贡献。
证据与限制
RTLLM v2 的 50 题中，45 题进入评估，每题进行 30 次试验。表 1 的十轮生成结果如下，取跨题目与试验的平均；数字为相对超体积 rHV，而非正确率或加速比。
| 方法 | VeriReason-3B | CodeV-R1-Distil-7B |
|---|---|---|
| Base：未追加 PPA 训练 | 19.1% | 38.4% |
| Single-Objective PPA：固定 PPA 标量奖励 | 18.0% | 37.8% |
| Sequential TB：顺序生成，仅测试奖励 | 19.2% | 33.5% |
| Sequential TB+PPA：顺序生成，测试加固定 PPA 奖励 | 21.6% | 32.0% |
| Sequential HVC：顺序生成，测试加集合贡献奖励 | 32.4% | 43.2% |
rHV 的分母来自所有方法、所有试验产生的非支配解并集，不是已知的全局最优前沿。多样性统计的是不同 PPA 三元组，也不等于不同代码数量。上述顺序训练方法共享 78 题训练子集；单目标方法使用 889 题，因此比较并非全部只改变奖励。
附录 E.5 尤其值得读：合并 30 次试验时，7B 的 HVC 结果与 Base 接近。作者据此强调较小推理预算下的探索效率。评估限于一个基准；testbench 通过也不构成形式化正确性证明。以上据 §4–7、附录 A、E；本导读未运行实验。
重点阅读章节
- §4.1–4.2： HVC 的定义，以及历史如何进入下一代训练数据。
- §5.1–5.3、表 1、附录 A： 对照组、训练集差别与 rHV 的经验参照集。
- 附录 E.4–E.5： 去重奖励为何不足，以及增大采样预算后优势如何变化。
思想启发：答案的价值可以是一种关系
以下是导读者的理解，不是论文额外证明的结论。
设想已有两个候选都擅长低延迟，却占用较大面积。第三个候选即使没有刷新最低延迟，只要提供显著更小面积的选择，就可能扩大决策余地。反过来，一个孤立看来很强的候选，也可能与已有结果几乎重合。这使“质量”从候选自身的属性，变成候选与已有集合之间的关系。
这个视角也改变了多样性的含义。改写变量名可以制造很多不同程序，却没有增加任何设计选择；而代码相近的两份实现，也可能因结构差异形成真正不同的取舍。因此，语法差异、目标空间差异与最终决策价值，是三个不能自动等同的概念。
集合目标并没有消除偏好。衡量哪一块空间值得覆盖，仍取决于坐标变换、参考点和体积度量。把选择推迟到候选生成之后，可以减少过早锁定单一取舍的风险，却不意味着生成阶段已经完全中立。
三个开放性思考问题
1. 同一候选的奖励随历史改变，这是在更准确地衡量质量，还是改变了“质量”的含义？
参考思路
两种解释可能同时成立。如果任务是提供一组选择，边际贡献比孤立分数更贴近目标；如果任务是评价某个电路本身，历史相关的奖励则混入了其他候选的影响。值得追问的是评价单位：一个电路、一次搜索过程，还是最终得到的集合。单位不同，同一句“更好”可能描述不同性质。
2. 没有预先固定功耗、延迟与面积的权重，就意味着候选集合不带偏好吗？
参考思路
Pareto 支配关系只排除全面不占优的候选，却没有规定前沿各处应获得多少关注。一个区域能增加很多体积，不代表它必然更符合决策者的需求；某个狭窄区域也可能包含最重要的可行解。因此，“覆盖更广”和“提供更有价值的选择”之间，仍需要关于需求分布的假设。
3. 如果增加采样后基础模型能接近训练后的集合，训练究竟增加了什么能力？
参考思路
它可能主要重分配了生成概率，使有用取舍更早出现，而没有扩张可生成解的范围。但有限预算本身也可以是能力定义的一部分：很难遇到的答案，与稳定快速获得的答案，对搜索过程并不等价。现有结果更支持哪一种解释，还取决于预算范围、罕见解和不同问题上的分布，不能仅凭最终并集接近就否定训练价值。