https://douyixuan.github.io/tags/benchmark/Recent content in Benchmark on 兜忆轩 | Cedric's Compiler Noteshttps://douyixuan.github.io/images/papermod-cover.pnghttps://douyixuan.github.io/images/papermod-cover.pngHugo -- 0.146.0en-usSat, 17 Oct 2026 12:48:00 +0800https://douyixuan.github.io/posts/ai-silicon-papers/2026-10-17/Sat, 17 Oct 2026 12:48:00 +0800https://douyixuan.github.io/posts/ai-silicon-papers/2026-10-17/D2K-Bench 用有无专家指导的配对实验，追问高效 GPU kernel 的困难究竟在设计发现还是设计实现。值得思考的是：提供设计是否真的隔离了实现能力，以及遵循设计与实现目标是否是一回事。https://douyixuan.github.io/posts/ai-silicon-papers/2026-10-11/Sun, 11 Oct 2026 12:48:00 +0800https://douyixuan.github.io/posts/ai-silicon-papers/2026-10-11/SGAnalog 用流片版本锁定的开源模拟电路，同时评测原理图转网表与器件尺寸选择；它让结构和仿真结果可执行地受检，也揭示了测试平台、参考设计与拒答策略如何限定‘会设计’的含义。https://douyixuan.github.io/posts/ai-silicon-papers/2026-10-09/Fri, 09 Oct 2026 12:22:00 +0800https://douyixuan.github.io/posts/ai-silicon-papers/2026-10-09/ChipBench 用更长、更复杂的 RTL 模块，以及调试和参考模型生成任务，让先进模型的成绩显著下降；但 benchmark 的难度、真实性与结论外推范围仍需分别判断。https://douyixuan.github.io/posts/ai-silicon-papers/2026-10-06/Tue, 06 Oct 2026 12:36:00 +0800https://douyixuan.github.io/posts/ai-silicon-papers/2026-10-06/FIXME 用 180 道题覆盖规格理解、参考模型、测试用例、testbench、断言和调试；它拓宽了 LLM 硬件验证评测，却也留下一个概念边界：流程覆盖不等于端到端执行。https://douyixuan.github.io/posts/ai-silicon-papers/2026-09-26/Sat, 26 Sep 2026 12:26:00 +0800https://douyixuan.github.io/posts/ai-silicon-papers/2026-09-26/RTL-BenchLS 用原 RTL 与形式等价构造自监督任务，将可验证评测扩展到 10,028 个设计；代价是把正确性锚定为复现参考实现的行为，而不是满足独立规格。https://douyixuan.github.io/posts/ai-silicon-papers/2026-09-21/Mon, 21 Sep 2026 12:22:00 +0800https://douyixuan.github.io/posts/ai-silicon-papers/2026-09-21/ChipVerilog 把 RTL 生成评测推进到长模块和跨模块层级：强模型大多能生成可编译代码，但功能正确率随规模与层级迅速下降；这也暴露了规格来源和验证口径的边界。