核心问题:怎样提高 Agent 的试验吞吐量,同时不让简化测量把优化引向错误方向?

论文卡片

Together Compiler: Continual Compilation for AI Inference,Together AI Research。作者 Reyna Abhyankar、Dylan Lim、Drew Wadsworth、Venkata Hasith Vattikuti、YuTong Julia Zhang、Jung Hwan Heo、Taeksang Kim、Kesavan Ramakrishnan、Evangelene Stanley、Xinyu Fang、Daniel Y. Fu、Simran Arora。

arXiv 首次提交 2026-11-10,v1;所读 PDF 首页另标 November 13, 2026,二者分别保留,不把文稿日期当成首次提交日期。定位为持续推理优化系统及实验研究。

arXiv · 全文 · PDF · alphaXiv

简短导读

随机输入上的快 kernel,未必在真实模型里快。论文给出一个 top-k 案例:算法先分桶,再在阈值桶内两两比较。随机数分散在各桶时表现良好;真实分数有大量 ReLU 零值,挤在同一个桶里,比较量随桶大小平方增长。输入分布改变了算法的实际工作量。

直接在完整推理引擎里测量更接近部署,却要付出加载权重、分配缓存和捕获计算图的成本。TKCC 的办法是让引擎保持运行,热替换候选前向函数并重新捕获图,而不为每次试验重启整个服务。

它还设置快慢两层:较少层数的快层用于高频筛选,更多层数的慢层提供更接近完整模型的反馈。并行 Agent 利用这些反馈继续搜索,成本模型则筛选值得投入搜索的并行配置。论文的核心不是单纯增加尝试次数,而是安排不同成本的反馈各自承担什么判断。

证据与局限

表 1 在 MiniMax-M3.1-Flash、TensorRT-LLM 设置下报告冷启动总耗时 761 秒。持久引擎的慢层与快层分别运行 60 层和 12 层,热替换耗时分别为 45 秒与 17 秒,任务完成时间中位数为 64 秒与 28 秒。它们属于这套设置,不能直接外推到所有引擎。

图 2 的 B200 GLM 5.3 优化实验中,两层系统评估了 1,354 个候选,单一慢层为 168 个,最终找到的方案快 7.2%。相对每次重新启动引擎的系统,作者另报告 252 倍的试验吞吐量提升。试验次数倍率不是推理速度倍率,也不是模型能力提升倍率。 附录 A.1 给出了相同编码模型、编辑范围和工作负载的对照条件。

真实性的反例见附录 C.1:上述 top-k 在随机输入上约 20 微秒,而真实输入在约 70K 上下文时可达 62 毫秒。这个案例说明数据分布能改变性能排序;它不意味着所有随机基准都无效。

端到端结果也要分清指标。附录 A 将每用户交互速度定义为 token 间隔延迟的倒数,将每 GPU 吞吐量定义为输入与输出 token 的合计速率,缓存命中的输入也计入。图 7 固定基线的并行策略,图 8 则允许成本模型选择不同策略;两者回答的问题不同。论文的“最高 2.6 倍”是特定配置结果,不是平均收益。

分层方案仍有取舍:快层截取部分模型、复用固定请求与缓存,可能遗漏完整执行中的差异;慢层和最终验证因此不能省略。优化还使用两倍副本规模支撑两层引擎,应把资源预算与时间收益一起读。NVIDIA/AMD 使用 AgentX 流量,Trainium2 使用另一组合成多轮数据,不宜把所有平台视为同一工作负载的直接比较。以上为作者报告,本导读未独立复现。

重点阅读章节

  • §3 与附录 C.1、图 12–13: 看随机输入为什么改变 top-k 和 MoE 的性能行为。
  • §4.2、表 1、图 2–3: 区分持久化、热替换、分层筛选与减少测量波动的作用。
  • §5.2 与附录 A.1、A.3: 核对基线、资源预算、并行策略及两种吞吐指标的定义。

思想启发

以下是导读者的延伸理解。

快速反馈有价值的前提,不是每次都精确复刻生产环境,而是它足以支持当前决策。粗测可以排除明显退步,却未必能裁定两个接近方案的优劣。测量的充分性取决于它被拿来作何种判断。

持续优化也意味着“最优”带有时间和流量条件。对某个分布有效的专门化可能在流量变化后失效。系统需要的不只是找到更快实现,还包括辨认何时原来的证据已经不再适用。

三个开放性思考问题

1. 快层如果只保留部分模型,哪些性能关系仍可能保持,哪些可能反转?

参考思路

局部计算量可能比较稳定,但跨层缓存、通信和数据相关路由未必如此。快层是否有用,不必要求绝对耗时一致;更重要的是它是否保留当前候选的相对顺序,以及错误筛除有多严重。

2. 复用固定请求降低噪声后,何时会把优化变成对测量样本的适应?

参考思路

固定输入让差异更容易归因于代码,但反复选择也可能偏向这些请求特有的缓存或分布。可重复性与代表性是不同性质;低方差不能独自证明结论能推广到变化中的流量。

3. 更多候选带来更好结果,能否单独证明搜索方法更聪明?

参考思路

收益可能来自更大探索预算、更可信的反馈或更好的候选生成,也可能来自三者的交互。相同墙钟时间下取得优势有系统价值,但这与每次尝试的判断质量更高是不同主张。