核心问题：一条经验的价值，取决于它来自一次成功，还是取决于它能否超越接收者原本就能做到的事？
论文卡片
- 原题： MetaKernelBench: Measuring GPU Kernel Knowledge Transfer Beyond Code
- 作者： Xueyi Chen、Shiyu Liu、Xin Jin、Yuhua Zheng、Xin Li、Haolei Bai、Junhan Zhu、Huan Wang。
- 日期与版本： 2026-10-04 提交，arXiv v1；cs.LG；基准与实证分析预印本。
- 定位： GPU kernel Agent 的经验复用评测，考察同题跨 DSL 的文字 skill，而非代码翻译。
- 阅读入口： arXiv · HTML 全文（v1） · PDF（v1） · alphaXiv
简短导读：把经验本身当作待评估对象
74 道题分别用 CuTe DSL 和 TIRx 实现。源尝试无论成败，都可提供文字 skill；目标尝试只得到这份经验，不得到源码或轨迹。对照是同一模型不带 skill 解同一道目标题，两边各有 40 分钟、至多十次反馈。计时覆盖完整调用，包括允许保留的 eager PyTorch 部分。
证据与限制
六个模型、两个方向中，每组都有 16.2%–44.6% 的题目受损。这里“受损”指从通过变失败，或双方都通过时，基线时间／带 skill 时间不超过 0.8。
汇总指标还把失败变通过赋值 4，反向赋值 1/4；双方通过的时间比也截断到这个范围。因此报告的 −19.1% 至 +29.3% 是混合评分的几何均值变化，不是纯加速比。
作者观察到收益与源尝试相对目标基线的水平相关，并讨论经验过早排除方案的风险。但每个条件只有单次结果；skill 内容与失败归因采用 LLM 标注，不是对具体句子的因果消融。实验固定 B200、同题和同模型，不证明新任务泛化；匹配目标预算也未计入生成源经验的额外成本。
以上据原文 §2–4、附录 C、E；本导读未独立重跑实验。
重点阅读章节
- §2.2： 看究竟传递了什么，以及目标预算相同为何不等于总计算量相同。
- §3.3、§4.1–4.2： 先读指标定义，再读总体增益与源／目标相对水平。
- §4.3、附录 D、E.1： 将成功和受损案例对照着读，同时保留作者没有分离出的因果关系。
思想启发：经验既提供方向，也可能提前结束探索
以下是导读者的理解，不是作者额外证明的结论。
“这条经验曾帮助做出正确实现”与“没有它会做得更差”，回答的是不同问题。前者描述来源，后者需要一个反事实参照。若接收者本来就能找到更好的方案，来源可靠的经验仍可能没有增量价值，甚至形成限制。
更值得留意的是两句话之间的距离：“这次没做成”和“这种方法做不成”。总结把前者压缩成后者时，失败记录就变成了搜索禁令。成功轨迹也可能包含这种越界推断，因为最终产物通过验证，并不会验证轨迹里每一句解释。
但不能据此认定所有保守建议都有害。在有限预算下，少探索一些路线可能恰好有益。问题不在于经验应不应该约束搜索，而在于它所排除的可能性，是否真的被证据排除了。
三个开放性思考问题
1. 相同经验对较弱接收者有帮助、对较强接收者有害，它还是一条“好经验”吗？
参考思路
可以区分经验是否真实、是否相关、是否有增量价值。三者未必一致：一条正确而相关的建议，可能只是接收者早已掌握的起点，也可能成为它不再超越的终点。若经验的好坏依赖接收者和预算，那么为 skill 赋予一个脱离使用条件的固定质量分数，究竟会遗漏什么？
2. 同题换一种语言后表现更好，说明学到了抽象知识，还是得到了更具体的解题提示？
参考思路
不传源码能排除直接复制，却不能自动排除任务特定配方。自然语言也能精确描述算法和参数；反过来，一个高度具体的诊断也可能蕴含重要原理。这里的概念边界不是“文字比代码更抽象”，而是哪些条件改变后，这段经验仍保持解释力。同题跨语言提供了一种检验，但并未穷尽“理解”的含义。
3. 若 skill 提高平均成绩，却持续伤害一部分题目，应如何理解“复用成功”？
参考思路
均值可以回答总体收益，却不能替代对失败代价的判断。把一次正确性损失与某个性能收益放进同一分数，隐含了两者如何交换的价值选择。没有唯一正确的权重；值得追问的是，同一组结果在重视可靠性、极致速度或探索多样性的读者眼里，是否应该得到相同评价。