核心问题:一份网表与参考电路结构相同,器件尺寸又能在既定测试平台中得到接近人工设计的仿真输出,这些证据说明模型掌握了模拟电路设计,还是只说明它通过了两个边界明确的子任务?
论文卡片
- 原题: SGAnalog: An End-to-End Circuit Benchmark from Open-Source Silicon Tapeouts
- 作者: Yueting Li、Weihang Ding。
- 机构: 加州大学伯克利分校。
- 版本: 2026-10-02,arXiv v1;cs.AI / cs.AR;已被 NeurIPS 2026 AI for Chip Design Workshop 接收。
- 定位: 从 Tiny Tapeout 开源流片项目构造模拟电路评测集,以图同构检查原理图转网表,以作者测试平台中的仿真结果检查器件尺寸选择,并为训练数据重合提供审计线索。
- 阅读入口: alphaXiv · arXiv · HTML 全文 · PDF · 代码与数据
论文要解决什么问题
模拟电路评测常遇到两种不确定性。其一,教材电路和公开论文图可能早已进入训练数据,模型答对不一定来自可迁移的电路理解;其二,只有拓扑而没有 PDK、器件尺寸和测试平台的数据集,很难判断输出是否在规定条件下真正工作。
SGAnalog 以 Tiny Tapeout 的公开项目为来源,并把每个设计固定到流片索引记录的仓库提交,而不是读取仓库最新版本。数据漏斗从 27 批 shuttle、4,572 个项目开始,筛到 125 个提供电路的仓库、425 个顶层设计;去除按器件—网络二部图判断的重复拓扑后,得到 273 个不同的顶层设计。所有合格原理图和 SPICE 网表都由同一份 Xschem 源文件生成,减少了图像与网表分别标注所引入的错配。
论文没有把这 273 个设计全部变成同一种任务,而是定义了两套固定子集:66 个原理图转网表任务,以及 17 个器件尺寸选择任务。两者分别回答“连接关系是否读对”和“固定连接关系后,器件参数是否让电路在原测试条件下工作”。
两个任务怎样评分
原理图转网表
模型只看渲染后的原理图并输出 SPICE 网表。评测器把参考网表与输出都转成器件—网络二部多重图,忽略网络名称,并把 MOSFET 的源极与漏极视为可交换,再检查是否图同构。因此 exact isomorphism 要求连接关系整体正确,却不要求文本形式一致。
论文同时报告 structural F1,给部分正确的器件和网络结构以连续分数;只有在结构正确时,才进一步衡量 W/L 参数读取准确率。这个拆分使“完整恢复结构”与“错误但接近”不再被一个分数混在一起。
器件尺寸选择
模型得到固定拓扑、作者测试平台、PDK、目标指标,以及被占位符替换掉的 W/L 参数,只需给出器件尺寸。模型方案与人工流片方案在同一测试平台中仿真;对每个可用指标,令模型值与人工参考值之比为 (r),得分为 (\min(r,1/r)),再对指标求平均。仿真不收敛或没有提供尺寸记 0 分。
有些作者测试平台能运行,却没有可统一抽取的标量指标;论文对此只检查“是否存活”,收敛即得 1。因而同为满分,有时表示输出接近人工参考,有时只表示仿真完成。这是作者计划用按电路类别统一测量模板继续补强的部分。
主要结果
在 66 个转录任务上,claude-fable-5 的 exact isomorphism 最高,为 56.1%,structural F1 为 0.853。claude-opus-5 的完整正确率为 51.5%,高于 gpt-5.6-sol 的 42.4%;但两者 structural F1 分别为 0.711 与 0.831。这意味着 Opus 完全答对的案例更多,失败时却往往偏离更远;Sol 的完整正确较少,但错误更接近可修复的网表。六个模型从小型电路到中型电路时明显下降,说明整体连线关系仍是主要难点。
作者还对 Opus 做了去标签测试:删去设计者命名的网络标签和实例名后,exact isomorphism 从 51.5% 降到 36.4%,structural F1 基本不变。由于评分本来就忽略名称,这一变化与“标签帮助视觉追踪连接关系”的解释一致;但它本身不能排除模型见过相关设计,论文把两件事明确分开。
在 17 个尺寸选择任务上,gemini-3.1-pro-preview 的总分最高,为 91.2。两款最新 Claude 模型出现另一种失分:Opus 有 4 个请求没有给出尺寸,Fable 有 11 个;没有答案按 0 分计算。它们在实际回答的任务上分别得到 97.2 和 90.2。作者据此认为,至少在这些案例中,总分不仅受电路知识影响,也受模型安全策略影响。这个判断由“相同电路可被转录”和“回答后得分较高”间接支持,但论文没有运行一个解除策略限制的反事实模型来单独测量潜在能力。
证据边界
SGAnalog 最有力的贡献,是让两类结果拥有可执行的判据:连接关系可以做图同构,尺寸方案可以在同一 PDK 与作者测试平台中仿真。它并没有证明模型已经能从需求独立完成模拟电路设计。
首先,转录是读取既有原理图,不是生成拓扑。尺寸任务也固定了人工拓扑,只改变 W/L。论文明确把拓扑生成、版图以及主观设计风格排除在当前范围之外;拓扑生成仍缺统一的设计需求表示,以及把生成电路自动接入作者测试平台的方法。
其次,尺寸分数以人工设计的仿真输出为参照,而人工尺寸不是全局最优性的证明。比值分数奖励“接近参考”,不能自动判断另一种不同输出是否更符合真实规格,也不能完整覆盖增益带宽、相位裕度、功耗、面积、工艺角和失配等权衡。17 个任务还是从 412 次测试平台运行中,经可运行性、DUT 映射和原语层级等条件筛出的有限子集;多数数据来自 Sky130。
最后,版本日期提供的是污染审计线索,不是污染率估计。某个固定提交晚于模型训练截止,只能排除该精确版本直接进入训练窗口;同一设计的早期版本或相似拓扑仍可能更早公开。论文也指出,截止日期前后任务难度不同、重复图组没有按日期隔离,不能把两边准确率差直接解释为记忆效应。发布数据中的 canary 只能标记此后释放的网表,无法保护此前已经公开的上游仓库。
重点读哪里
先读 §1 与图 1,理解作者为何同时要求版本可追溯和可执行测试;再读 §3 与表 2,核对 273 个拓扑如何筛成 66 个转录任务和 17 个尺寸任务。随后细读 §4、表 3 与图 3,重点比较 exact isomorphism、structural F1、尺寸分数和拒答数;最后读 §5–6,辨认训练期污染、推理期检索、canary、测试平台异质性与任务范围之间的边界。
思想启发
以下是由论文引出的理解角度,不是作者额外验证过的结论。
SGAnalog 没有把“模拟电路能力”压成一个抽象正确率,而是展示了多个彼此不能替代的判据:完整结构、局部结构、参数读取、仿真收敛、相对参考输出,以及是否愿意作答。模型排序随判据改变,说明“哪个模型更会设计”在没有先说明可观察行为和失败成本时,并不是一个确定的问题。
更深一层,仿真让正确性变得可执行,却没有消除规格问题。测试平台决定观察哪些信号、施加哪些激励和提取哪些指标;人工参考又决定“接近”以谁为中心。评测从主观判断前进到了明确契约,但它衡量的仍是契约覆盖的行为,而不是未被写入契约的全部设计意图。
三个思考问题
1. 接近人工参考,是设计能力的证据,还是模仿某个实现选择的证据?
若一种尺寸方案在既定测试平台中明显优于人工参考,(\min(r,1/r)) 仍会因它偏离 1 而扣分;此时“相似”和“更好”应该如何区分?
展开思考线索
人工流片方案提供了现实、可复现的基线,却未必是所有指标上的最优解。对无方向性的输出幅度或增益,用对称比值衡量接近程度是合理的;对存在明确上下界、约束或多目标权衡的设计,参考相似度可能奖励保守复现,也可能惩罚有效但不同的解。问题不只在评分公式,还在设计 brief 是否把“更好”的方向和约束写清楚。
2. 拒答记零,衡量的是模型能力,还是完整系统的可用性?
当模型能转录同一电路,并在愿意回答的尺寸任务上取得高分,却对部分请求拒答时,总分下降应如何解释?
展开思考线索
若评测对象是用户实际调用的系统,拒答就是可观察失败,记零有明确理由;若研究问题是模型是否具有尺寸知识,则策略层会混入潜在能力的估计。论文同时报告总分、无答案数和“仅已回答任务”的成绩,正是把覆盖率与条件性能分开。作者把现象归因于安全策略是有根据的解释,但仍缺少对同一模型解除策略后的直接对照。
3. 版本日期、盲化原理图和 canary,能在多大程度上区分泛化与记忆?
这些防线分别封住了哪些暴露通道,又有哪些相似电路、早期版本或公开仓库路径仍然无法排除?
展开思考线索
提交日期能排除训练截止后那个精确修订版,盲化标签能削弱从可见名字检索或照抄的线索,canary 能标记基准发布后的数据摄入;三者针对的是不同通道。它们都不能证明模型从未见过早期版本、同构拓扑或教材中的相似模块。因而论文把这些机制称为污染审计证据,而没有把日期前后差异直接报告成污染率。