核心问题：以“单文件可独立检查”为清洗标准，会怎样改变模型学到的硬件设计范围？
论文卡片
- 原题： VHDLBench: Benchmarking and Fine-Tuning Large Language Models for VHDL-Based Chip Design
- 作者： Patrik Drazic、Benaoumeur Senouci、Boualem Benatallah；南丹麦大学、都柏林城市大学。
- 日期与版本： 2026-10-19，arXiv v1，cs.AR；数据集与微调实证研究。作者称本文是获 FLLM 2026 接收论文的扩展版。
- 定位： AI 辅助 VHDL 生成、训练数据筛选与分层评测。
- 入口： arXiv · 一手全文 / PDF（v1） · alphaXiv
简短导读：清洗规则也是任务定义
作者汇集开源 VHDL、FPGA 工具示例与转换后的 Verilog 数据，形成超过 18,500 对指令与代码，再用 QLoRA 微调五个约 7B 规模的模型。自然语言指令由模型根据已有电路生成。
关键在数据进入训练前发生的筛选。GHDL 检查排除了语法错误，也排除了依赖外部模块、缺少层级定义而无法独立检查的文件。最终样本主要是自包含的单文件电路。这使样本容易训练和评测，却也让“能独立成立”成为入选条件。
论文后来报告复杂设计表现较差，并明确承认单文件与简单样本偏多的限制。这里值得理解的不是“清洗不好”，而是清洗同时决定了哪些设计关系还能被模型看见。
证据与限制
§III–IV 设置了两种不同范围的评测，不能把结果视为同一分母上的连续成功率。
| 评测 | 规模与采样 | 证据范围 |
|---|---|---|
| 100-eval | 100 个设计，每题 3 次生成，温度 0.1 | 微调前后语法、可综合性比较；报告平均 pass@1 |
| 15-eval | 15 个设计，简单、中等、复杂各 5 个，每题 10 次生成 | 对通过语法检查的不同实现进行功能仿真，并开展硬件原型检查 |
作者报告 DeepSeek-Coder 的语法正确率从 57% 升至 92%。这是相对未微调模型的改善，不能直接称为 92% 功能正确。功能检查使用人工整理的 testbench：ChatGPT 起草骨架，人补充断言，GHDL 仿真至 100 微秒并人工判断输出。FPGA 上的开关、LED 等检查则针对部分设计，并不证明全部任务在所有输入下正确。
§IV 报告所有模型均未生成语法正确的 8-bit FFT，而简单电路往往表现较好。这个结果与数据分布偏向简单设计相符，但不能单独证明清洗规则造成了失败：模型能力、训练分布、提示和任务本身也可能共同影响结果。
数据复杂度分类主要参考端口数量、类型和结构，并由 Gemini 辅助判断；作者也承认它只是粗估。因此，文中的“复杂样本比例”不能直接等同于算法或时序设计难度。以上为论文报告，未独立复现；本导读将其视为探索性证据。
重点阅读章节
- §III.A.2： 看哪些文件被删除，区分语法错误与缺少依赖导致的检查失败。
- §III.A.3–4： 看指令如何从代码生成，以及复杂度标签实际衡量什么。
- §III.C、§IV.B 与 §V： 对照评测规模、复杂任务失败和作者承认的单文件限制。
思想启发：可检查性不等于代表性
以下是导读者的延伸理解。
一份文件无法独立编译，可能因为它写错了，也可能因为抽取时丢掉了工程上下文。两种情况如果被同一种过滤规则处理，最终数据会更整洁，却未必更像真实设计。评测随后若也主要围绕独立模块，训练与评测就可能共同强化这一边界。
这并不否定语法提升的价值。它提醒我们把结论写得更精确：模型更擅长了某一类可独立表达的电路，是否更擅长组织多个模块之间的关系，仍是另一个尚未回答的问题。
三个开放性思考问题
1. 文件因缺少依赖而被排除，究竟是数据质量问题，还是抽取单位选错了？
参考思路
以文件为单位，外部依赖意味着样本不完整；以工程或模块图为单位，同一文件可能完全合理。质量判断隐含了一个分析单位。改变单位可能保留更多真实结构，也会增加验证与标注成本，没有无代价的选择。
2. 端口很多的电路，为什么未必比端口很少的电路更难？
参考思路
接口规模反映连接数量，却未必反映状态空间、数值算法或跨周期行为。少量端口可以承载复杂协议，大量端口也可能只是重复的简单连接。若复杂度标签与真正困难不一致，分层成绩的解释也会受限。
3. 如果训练指令来自代码摘要，模型学到的是设计能力，还是还原常见实现的能力？
参考思路
两者并不互斥。代码摘要能提供大量配对样本，却可能省略边界条件，或把既有实现的选择当成需求。陌生规格、不同实现方式与多模块关系能否被处理，决定了结论能否超出常见模式的重建；仅改写提示措辞不能自动建立这种证据。