032 · 专家把设计告诉 Agent,剩下的就只是实现吗?

D2K-Bench 用有无专家指导的配对实验,追问高效 GPU kernel 的困难究竟在设计发现还是设计实现。值得思考的是:提供设计是否真的隔离了实现能力,以及遵循设计与实现目标是否是一回事。

October 17, 2026 · 1 min · Cedric

026 · 结构正确、仿真接近,就算会设计模拟电路了吗?

SGAnalog 用流片版本锁定的开源模拟电路,同时评测原理图转网表与器件尺寸选择;它让结构和仿真结果可执行地受检,也揭示了测试平台、参考设计与拒答策略如何限定‘会设计’的含义。

October 11, 2026 · 2 min · Cedric

024 · 分数更低,就更接近真实芯片设计吗?

ChipBench 用更长、更复杂的 RTL 模块,以及调试和参考模型生成任务,让先进模型的成绩显著下降;但 benchmark 的难度、真实性与结论外推范围仍需分别判断。

October 9, 2026 · 2 min · Cedric

021 · 六类任务拼在一起,就算端到端验证了吗?

FIXME 用 180 道题覆盖规格理解、参考模型、测试用例、testbench、断言和调试;它拓宽了 LLM 硬件验证评测,却也留下一个概念边界:流程覆盖不等于端到端执行。

October 6, 2026 · 2 min · Cedric

011 · 原 RTL 既是题目又是答案,评测到了什么?

RTL-BenchLS 用原 RTL 与形式等价构造自监督任务,将可验证评测扩展到 10,028 个设计;代价是把正确性锚定为复现参考实现的行为,而不是满足独立规格。

September 26, 2026 · 2 min · Cedric

008 · 过了编译,为何长 RTL 仍几乎全错?

ChipVerilog 把 RTL 生成评测推进到长模块和跨模块层级:强模型大多能生成可编译代码,但功能正确率随规模与层级迅速下降;这也暴露了规格来源和验证口径的边界。

September 21, 2026 · 2 min · Cedric