核心问题:模型一次生成完整优化脚本,是消除了搜索,还是把搜索经验与成本提前放进了训练?
论文卡片
Annabelle Sujun Tang、Wei Tang、Songyao Jiang、Tianhui Li、Shengzhe Xu、Jiin Woo、Kaan Ozkara、Youngsuk Park、Zhen Jia、Hadi Esmaeilzadeh(加州大学圣迭戈分校、Amazon Annapurna Labs),How to Train Your Little Dragon: Teaching a Small Language Model to Construct and Refine GPU Optimization Scripts。2026-10-14,arXiv v1,方法与实证研究预印本。
论文训练一个 8B 模型生成可执行的编译器调度脚本:既能从初始计算构造调度,也能根据已有调度提出更好的完整替代方案。
简短导读:把搜索结果变成可以复用的选择能力
分块、线程映射和存储安排相互影响,单独看某个变换未必知道它是否有益。Little Dragon 的输出是一套完整方案,让模型同时协调这些决定。所谓 refinement 也不是在旧程序后面追加几步:新脚本仍从原始 TensorIR 出发,替换已有调度。
训练材料来自 TVM MetaSchedule 搜索。作者把通过回放、编译、数值检查和稳定计时的候选整理成两类样本:初始计算到优化脚本,以及较慢脚本到更快脚本。后一类要求收益超过计时波动范围。数据共涉及 54,116 个不同 workload、108,594 条构造与改进样本;这不是每个样本都属于一个独立任务。
为了让模型准确表达变换,论文设计 TSEL,将编译器 trace 压缩成保留参数、顺序和依赖的类型化编辑。解码可还原规范化 trace,往返检查限定在记录的编译器与编码器版本内。无损表示意味着信息没有在编码中丢失,不意味着模型生成的任意脚本都正确。
训练分为监督微调和强化学习。前者学习搜索给出的方案;后者让模型提案实际经过工具链,依据数值检查与延迟获得奖励。解释文字与可执行部分分开,速度奖励由执行结果决定,不由“我做了某项优化”的自述决定。这样,搜索经验被转为模型参数中的提案倾向;编译、检查与测量仍然存在。
实验支持了什么
评测在 NVIDIA H100 上进行,包含 116 个构造任务,以及覆盖 39 个任务的 194 个改进提示。每个提示采样八份输出。论文按 workload 身份和初始 IR 结构哈希检查训练、验证及强化学习训练池与封闭评测集之间没有重叠。
| 指标 | 仅监督微调 | 监督微调加强化学习 |
|---|---|---|
| 构造 Correct@1 | 89.33% | 91.27% |
| 构造:正确且比默认调度快超过 10 倍 | 64.98% | 77.69% |
| 改进 Correct@1 | 91.95% | 92.01% |
| 改进:正确且至少比给定旧调度快 2 倍 | 37.24% | 59.28% |
这些成功率把失败输出保留在分母中。Correct@1 是从多次采样估计的单次成功率,不是八次里只要成功一次便算通过。构造任务的速度参照是 TVM 默认 GPU 调度,不是专家库的最佳实现;改进任务则参照输入中的旧调度,两个倍率不能互换。
强化学习更明显地改善了性能成功率,而不只是正确率。另一组比较固定取两个模型的第一份输出:在双方均正确且可计时的子集中,强化学习版本在 102 个构造任务中的 88 个、170 个改进提示中的 145 个上更快。这支持它能改善已有策略,但这个子集排除了至少一方失败的情况,不能代替上表的全体输出统计。
“一次完成”与比较边界
作者报告,相对存档的 MetaSchedule 搜索,图 4 中逐任务配对的优化时间比中位数约为 39 倍,即模型侧用时更少。这是论文计时口径下的每任务优化时间比较。生成训练数据的搜索、监督微调与强化学习属于先付成本;该数字没有直接回答需要复用多少次才能摊平这些投入,也不能推导出跨硬件后仍有同样收益。
论文还与六个外部模型比较,但构造任务的接口不同:外部模型收到 PyTorch 参考并生成完整 TensorIR kernel,Little Dragon 则选择作用于现有计算的调度脚本。作者这样安排,是为了不要求外部模型掌握自定义图表示;它同时改变了生成责任。因此,这能说明所配置系统的差距,不能单凭结果断言参数量大小决定了优化能力。改进任务中,外部模型则需要生成完整优化图。
“正确”也有明确范围:每个 workload 用一个随机生成的测试用例,与 LLVM 编译的原始 TensorIR 结果作数值比较。它是实验判据,不是全输入等价证明。固定形状与单一 H100 的结果,也未建立跨 GPU 架构的普遍性。强化学习检查点按事后验证集延迟准则选择,阅读时应保留这一模型选择条件。以上为原文报告及证据范围分析,未独立复现。
重点阅读章节
- §2.1–2.3、附录 A: 看清完整替代调度、无损表示和解释层的不同职责。
- §2.4、§3.1 与表 1: 核对奖励门槛、单随机输入验证、任务与提示数量,以及成功率分母。
- §3.3–3.5、图 4、附录 B: 区分全体输出、双方成功子集、在线优化计时和经过筛选的训练曲线。
思想启发
以下是导读者的延伸理解。
这篇论文可以看成对搜索经验的一种摊销:过去在许多计算上花费的探索,换成新任务上更有希望的第一份提案。它没有取消不确定性,而是改变了不确定性主要由哪里承担——在线搜索少一些,训练分布与表示边界的责任就更大一些。
另一个值得保留的区别是“能执行的选择”与“解释选择的理由”。编译器可以检查变换是否合法,计时可以检查整套方案是否更快;即使二者都通过,也不能据此证明模型写出的每条性能解释都是正确的因果分析。论文明确把解释与奖励分离,这让证据边界更清楚。
三个开放性思考问题
1. 新任务与训练任务没有相同 IR 哈希,在哪些意义上仍可能复用同一种优化经验?
参考思路
形状或局部结构变化可以产生不同哈希,却保留同样的分块、存储与线程映射模式。身份隔离排除直接重复,不等于隔离全部算法家族。复用本来就是学习的目的;关键在于区分已学模式的适配与面对新约束的能力。
2. 单次提案比搜索便宜,在什么条件下仍不能说总体优化更便宜?
参考思路
复用任务少、硬件变化频繁、编译器接口改变或训练数据代价高,都可能让离线成本难以摊平。相反,稳定环境中的大量重复需求可能使先付成本值得承担。每任务时间优势和整个生命周期的经济性是不同问题。
3. 完整脚本变快了,为什么模型对某一步变换的解释仍可能是错的?
参考思路
多个变换可能互相补偿或共同生效,某一步甚至可能有害,却被其他收益掩盖。数值检查与总延迟评价的是整体方案;它们没有自动分解各步贡献。解释与执行结果一致,是比解释具有因果效力更弱的要求。