023 · 从两百轮里挑最快的,算稳定胜过编译器吗?
CUDA Agent 在执行反馈环境中训练 CUDA 优化策略,并在 KernelBench 上显著超过 torch.compile;但评测允许每题最多 200 轮并选取轨迹中的最快正确解,策略能力与搜索预算仍需分开理解。
CUDA Agent 在执行反馈环境中训练 CUDA 优化策略,并在 KernelBench 上显著超过 torch.compile;但评测允许每题最多 200 轮并选取轨迹中的最快正确解,策略能力与搜索预算仍需分开理解。
这篇论文把 kernel benchmark 的局部加速与真实 workload 的时间占比相乘:在 Transformer 中,可被生成式优化触及的部分仅占 8.9%–16.8%,因此看似不错的 kernel speedup 往往只能投射为约 1%–2.5% 的端到端收益。