032 · 专家把设计告诉 Agent,剩下的就只是实现吗?
D2K-Bench 用有无专家指导的配对实验,追问高效 GPU kernel 的困难究竟在设计发现还是设计实现。值得思考的是:提供设计是否真的隔离了实现能力,以及遵循设计与实现目标是否是一回事。
D2K-Bench 用有无专家指导的配对实验,追问高效 GPU kernel 的困难究竟在设计发现还是设计实现。值得思考的是:提供设计是否真的隔离了实现能力,以及遵循设计与实现目标是否是一回事。
SGAnalog 用流片版本锁定的开源模拟电路,同时评测原理图转网表与器件尺寸选择;它让结构和仿真结果可执行地受检,也揭示了测试平台、参考设计与拒答策略如何限定‘会设计’的含义。
ChipBench 用更长、更复杂的 RTL 模块,以及调试和参考模型生成任务,让先进模型的成绩显著下降;但 benchmark 的难度、真实性与结论外推范围仍需分别判断。
FIXME 用 180 道题覆盖规格理解、参考模型、测试用例、testbench、断言和调试;它拓宽了 LLM 硬件验证评测,却也留下一个概念边界:流程覆盖不等于端到端执行。
RTL-BenchLS 用原 RTL 与形式等价构造自监督任务,将可验证评测扩展到 10,028 个设计;代价是把正确性锚定为复现参考实现的行为,而不是满足独立规格。
ChipVerilog 把 RTL 生成评测推进到长模块和跨模块层级:强模型大多能生成可编译代码,但功能正确率随规模与层级迅速下降;这也暴露了规格来源和验证口径的边界。