核心问题：评测要求与模型收到的任务约定不一致时，把所有失败计为零分，仍然是在诚实衡量模型能力吗？
论文卡片
- 原题： Trust, but Validate the Instrument: Auditing AI-Generated RTL Verification Plans on Authored Security-Regression Proxies
- 作者： Hang Xiao、Chuhong Xu、Kainan Zhou、Gangzhen Qian、Lu Yi；来自 Fortinet、Sony 和 Google。
- 日期与版本： 首次提交 2026-09-17；本篇阅读 2026-10-09 修订的 v2，7 页。arXiv 页面注明已被 IEEE Cyber-AI 2026 接收，为作者接收稿。
- 定位： AI 辅助 RTL 安全验证的评测方法研究与失败事件分析；主分类 cs.CR。不是新的生成模型，也不是模型能力排行榜。
- 阅读入口： arXiv · HTML 全文（v2） · PDF（v2） · alphaXiv
简短导读：原本要测提示词，最后发现尺子有问题
SecTB-RTL 原本想比较：只给功能信息，与补充安全上下文或明确安全要求相比，模型能否生成更有效的 RTL 验证计划？模型输出受限 JSON DSL，由可信程序转换成自检 SystemVerilog testbench。计划既要在正确设计上通过，又要识别隐藏的错误变体；模型看不到变体、差异或触发错误的示例轨迹。
作者准备了 31 个任务，每个含 4 个事先构造并验证的安全回归变体，共 124 个。变体必须可综合、与原设计接口一致，且存在合法输入使差异在顶层可见；形式检查还排除了等价或重复的变体。这确认了“错误确实存在并可被观察”，没有保证生成的测试能发现它。
真正值得读的是实验中止后的处理：作者没有从少量幸存样本里挑出提示词优势，而是将研究结论改为对测量工具失效的分析。
证据：三种数字不能混为一种成绩
| 研究记录 | 报告结果 | 能支持的判断 |
|---|---|---|
| 非 AI 确定性基线 | 32、64、128 步预算分别检出 36、75、78 个变体，分母均为 124 | 这组变体在给定刺激与判据下有可达到的检出率 |
| C1-R2 | 前 8 次请求均被服务端 schema 预校验拒绝，模型未生成响应 | 输出格式约定不兼容，不能解释成模型答错 |
| C1-R3 | 完成 1,860 次调用；服务端接受 1,857 次，执行端语义有效仅 9 次 | 生成端接受与执行端有效之间存在严重失配 |
R3 包含 31 个任务、3 个模型别名、4 种提示条件、5 次重复。四组分别为功能目标、等注意力的功能控制、抽象安全上下文、明确安全要求；主要比较预定为最后一组对功能控制组。统计单位是任务，不是把每次调用和每个变体都当成独立样本。
问题出在复位语义：执行器要求遵守复位状态机规则，生成端约定和预检探针却没有覆盖这条规则，连探针的标准响应都无法通过后续校验。因此，99.84% 的服务端接受率与 0.48% 的执行端有效率，报告的是这条测量链的失效，不是安全提示词的效果。
非 AI 基线使用固定人工模板和判据，不是可与 AI 组直接互换的公平对照。其检出率约为 29.0%、60.5%、62.9%；这能校准 benchmark 的可检测性，不能据此宣布“传统方法胜过 LLM”。以上数字均为作者报告，本导读没有独立重跑实验。
证据边界：保留失败，不等于必须解释分数
作者原先规定所有安排好的尝试都留在分母里，防止只统计成功生成的测试。但这里还有更早的前提：生成约定与执行规则必须对齐。若测量对象已被错误规则改变，完整分母只能忠实保存事件，不能恢复原来的研究含义。
因此论文没有报告提示条件之间的效果，也没有用仅含 9 个有效响应的子集“挽救”结论。后续一轮因未满足预定的证据完整性门槛，同样没有进入实证结论。
这仍是一项边界有限的研究：任务为有目的筛选的公开 RTL，变体是人工安全回归代理，不是真实芯片漏洞总体；结果来自一个服务接口、三个模型别名与受限 DSL。作者冻结了协议与证据，但这种预注册是作者自行封存，并非独立审查。它支持一次具体的测量失效分析，不能推出所有 AI 验证研究都存在同样问题。
重点读哪里
先读 §III-C、§IV-B，区分模型可见信息与变体的资格；再读 §V-B、§VI、§VII-A，找出生成校验和执行校验分叉的位置。对照 表 II 与 §VII-B 理解基线的角色，最后读 §VIII–IX：为什么保留完整失败记录，却不继续计算提示词效果。
思想启发
以下是导读者的推论，不是作者额外验证的结果。
“数据完整”与“测量有效”是两件事。前者回答有没有丢掉不利样本，后者回答这些数字是否仍对应原本想研究的能力。一次实验可以记录得极其完整，却没有资格给出原定结论。
另一个值得保留的区分是“方法无效”与“尚未测到方法效果”。负结果不必意味着方法失败；它也可能意味着实验没有建立足够可靠的观察条件。停止解释分数，并不等于抹去数据，而是限制数据能承担的论证。
三个思考问题
1. 什么时候失败应计零分，什么时候应判定实验失效？
若真实使用环境也会出现接口不匹配，为什么它不能直接算作系统能力的一部分？边界由研究问题、对外承诺，还是失败来源决定？
展开思考线索
若研究对象是整个交付系统，接口失败当然可以进入端到端可靠性统计；若要比较安全提示词的作用，未披露且失配的规则可能让分数主要反映另一件事。同一失败可以是有效的运行记录，却不是有效的因果证据。关键不在于是否“宽容模型”，而在于结论是否仍指向原先定义的对象。
2. 只看那 9 个有效响应，还能回答什么？
它们可能包含有价值的验证计划；为什么不能据此比较四种提示条件，又是否完全失去了研究价值？
展开思考线索
有效响应是经过执行端筛选后留下的子集，进入子集的机会可能本身受提示内容或输出习惯影响。比较幸存者便改变了原来的比较对象。个案仍能提出新假设，却不能未经说明就代替全部任务上的效果估计；“可观察到一个好例子”与“某种条件平均更好”需要不同证据。
3. 测量链全部对齐后，检出变体是否就代表掌握了安全验证？
如果刺激、判据与错误变体都围绕同一组人工安全目标构造，检出率的上升能跨越多大的概念边界？
展开思考线索
对齐解决的是“有没有按约定测量”，不自动解决“约定是否代表所关心的世界”。人工变体便于确认真值与控制难度，也可能只覆盖作者能命名的机制。检出这些变体、发现未知回归、证明不存在安全缺陷，是强度逐渐增加的主张；即使第一项测得准确，后两项仍需要不同类型的论证。