核心问题:把完整历史变成可传递、可搜索的变量,解决了长期记忆的哪一部分?
论文卡片
- 原题: Harness as a Language: A Minimalist Agent Framework With Maximal Expressivity
- 作者: Zhening Li、Joshua Liu、Mateja Vukelic、Nicole Shen、Supriya Lall、Amitayush Thakur、Alex Zhang、Omar Khattab、Jonathan Light、Armando Solar-Lezama;MIT CSAIL 与独立研究者。
- 日期与版本: 首次提交 2026-09-22;本文阅读 v2(2026-09-30),26 页,cs.AI。arXiv 注明获 NeurIPS 2026 TTCL Workshop 接收。
- 定位: Agent 框架、可编程上下文与长期记忆评测;框架设计与实证研究。其任务环境是 StuLife 和 AppWorld,没有直接评测芯片或 GPU kernel 设计。
- 阅读入口: arXiv · HTML 全文(v2) · PDF(v2) · alphaXiv
简短导读:让 Agent 操作自己的上下文
JAZ 的核心是 invoke:模型在代码执行环境中生成程序,也可以递归调用另一个 invoke。关键不只是能调用子 Agent,而是提示和执行历史同时作为变量存在。模型可以写代码切片、搜索并传递这些对象,不必靠重新生成文字来复制它们。
当上下文接近容量限制,当前 Agent 把剩余工作交给子 Agent,同时传递累计历史。完整历史留在程序可访问的对象里,子 Agent 按需检索;这不意味着把全部历史塞进下一次模型输入,也不意味着模型的上下文窗口变大。
作者把这种能力看作通用原语:固定的记忆管理流程可以由 Agent 生成的程序来表达。但实验并非完全没有预设流程。上下文达到 70% 时,框架会插入交接提示和代码模板;初始指导还明确要求搜索旧历史。论文的“prompt-only”允许这些提示、监控机制和环境工具。
证据与限制
§4.1 的 StuLife 包含 1,284 个顺序任务,其中 939 个计分;207 个需要回忆超过 50 个任务之前的信息。表 1 统一使用 GPT-5.4 nano(high),报告三次独立运行的均值与标准误。下表的通过率指任务取得满分的比例,费用为整轮模型调用费用。
| 方法 | 全部计分任务通过率 | 远距回忆通过率 | 整轮费用 |
|---|---|---|---|
| CodeAct+子 Agent(JAZ 内重实现) | 60.0 ± 1.1% | 32.0 ± 2.3% | $13.1 ± 0.9 |
| Letta / MemGPT v0.16.8 | 70.9 ± 0.5% | 61.8 ± 2.3% | $42.1 ± 1.6 |
| JAZ invoke | 72.6 ± 0.1% | 69.9 ± 1.8% | $18.3 ± 0.3 |
相对 Letta,远距回忆提高 8.1 个百分点,全部任务提高 1.7 个百分点。两者不能混写成统一的性能增幅。
更贴近机制的对照是 JAZ 内的 CodeAct+子 Agent:作者移除提示和历史变量,并相应调整指导文本,尽量控制实现差异。这个比较支持程序化访问的价值,但变量暴露与交接方式、提示适配仍共同变化。
Letta 比较则针对指定版本与检索配置。作者分析的一个失败案例需要精确匹配虚构协议名,Letta 返回了相似名称的记录;这说明接口可能限制检索,不能推出所有专用记忆系统都较差。基准工具也经过结构化封装,结论依赖这一实验环境。以上数字来自原文,未独立复现。
重点阅读章节
- §2–3: 理解
invoke与可编程输入,区分“可以表达某种流程”和“能够可靠执行该流程”。 - §4.1、表 1: 对照远距回忆与全部任务指标,阅读历史交接和检索失败的具体案例。
- 附录 C.1–C.2、E.1: 查看 prompt-only 的定义、70% 上下文警告及搜索指导,判断哪些行为由框架和提示预先提供。
思想启发:保存、检索和理解可以分别失败
以下是导读者的延伸理解。
无损保存减少了一类不可逆错误:信息在交接中消失。它没有消除另一类错误:信息还在,却没有被正确定位或理解。历史越完整,候选证据也越多;旧结论、后来修正与名称相似的事实可能同时存在。可访问性是记忆能力的条件,尚不是记忆能力本身。
“极简”也需要说明计量边界。一个小核心可以提供丰富表达能力,同时让提示、模型生成的程序和运行时承担更多决策。JAZ 的启发是重新安排这些决策的位置;核心代码更少,不能直接推出整个系统更容易理解或验证。
三个开放性思考问题
1. 如果历史保存完整,却总是检索到错误片段,我们还会称它拥有长期记忆吗?
参考思路
可以把“记忆”理解为信息持续存在,也可以要求信息能在相关情境中正确影响判断。前一种定义强调存储,后一种还包含选择与使用。两种定义会给同一系统不同评价;论文的任务通过率测量的是这些环节共同作用后的结果。
2. 精确字符串搜索的成功,在多大程度上支持通用记忆接口的优势?
参考思路
虚构协议名使原始记录和精确匹配格外重要。若问题依赖同义改写、跨记录推断或后来推翻的旧事实,困难可能转移到证据组织。程序化接口允许表达更多检索策略,却不保证模型总能选对策略。一个案例解释了优势可能从何而来,尚不能界定所有环境中的优势范围。
3. 当交接策略来自提示模板,“极简 harness”的简化究竟发生在哪里?
参考思路
框架可以减少固定策略,把决策交给模型与提示;这扩大了可改变的空间,也改变了行为稳定性的来源。模板可以是通用能力的合理引导,也可能承担了看似由模型自主发现的关键结构。需要区分原语的表达能力、实验配置提供的策略,以及模型自行产生的行为。