018 · Kernel 快了，端到端为什么几乎没动？
这篇论文把 kernel benchmark 的局部加速与真实 workload 的时间占比相乘：在 Transformer 中，可被生成式优化触及的部分仅占 8.9%–16.8%，因此看似不错的 kernel speedup 往往只能投射为约 1%–2.5% 的端到端收益。
这篇论文把 kernel benchmark 的局部加速与真实 workload 的时间占比相乘：在 Transformer 中，可被生成式优化触及的部分仅占 8.9%–16.8%，因此看似不错的 kernel speedup 往往只能投射为约 1%–2.5% 的端到端收益。