今天选择两篇 **2026 年 11 月 3 日(UTC)**提交的原创研究,讨论 Agent 扩展层最容易被忽略的两类问题:指令写进了 AGENTS.md,模型是否真的遵循;Skill 发布之后,如何保证随仓库演化仍然可靠。第一篇进行受控措辞实验,第二篇追踪真实 GitHub Skill 的提交历史。两篇均为 arXiv 预印本,结论应以其实际实验范围为界。

1. Do Coding Agents Follow AGENTS.md? The Effect of Policy Wording on Instruction Compliance

推荐理由: 工程团队习惯把「必须做什么」放进 AGENTS.md 或 CLAUDE.md,但很少验证同一个约束仅换一种表达方式,是否会显著改变 Agent 行为。作者在真实仓库背景的 86 个任务中控制上下文位置,比较四种同义写法,并对四个 Harness–Model 组合重复运行,给出可直接用于设计指令评测的证据。

3 条核心要点:

  1. 同一条要求,句式就能影响执行结果。 实验在每份 Agent Context File 末尾加入同一目标:修改或新增 Python 函数时,在 def 下一行插入 # @tracked 注释。将其分别写成直接命令(Prescriptive)、带原因说明(Explanatory)、「如果……那么……」(Conditional)和禁止式(Prohibitive),每种写法在 86 个任务、四组 Harness–Model 中各重复三次。作者按每次会话中所有被改函数均满足规则才判遵循;这一结果反映的是特定可机械检查的注释约束,而不是所有工程规则。
  2. 条件句更容易被漏掉,最佳措辞却无法跨模型照搬。 在 Claude Code + Claude Opus 5 中,直接命令 / 解释式 / 条件式的遵循率分别为 78.0% / 77.2% / 64.2%;在 Claude Sonnet 5 中分别为 71.6% / 49.4% / 35.6%。三个呈现显著句式差异的组合均显示条件式弱于直接或解释式,但 qwen-code + gpt-oss-120b 中解释式反而高于直接式(20.4% vs 6.7%)。因此「给一个好模板,让所有 Agent 自动遵循」并不是被实验支持的结论。
  3. 提示词优化不能替代约束门禁。 在 qwen-code + Qwen3-Coder-Next 组合中,四种句式的遵循率均低于 1.5%,句式间没有显著差异;这也不能单独归因于模型,因为 Harness 与模型没有完全交叉对照。数据只涉及 10 个仓库、一种插入规则、每种句式一段固定文案,且排除了未修改 Python 函数的会话。更稳妥的工程措施是把格式/测试等可机检规则移交给 Lint、CI 或独立评测,而不是把文字约束当作成功证明。

核心启示: Policy Wording → Harness/Model-Specific A/B Test → Executable Compliance Check。指令文件是行为引导层,不是可靠的执行边界;变更措辞后应在目标 Harness 上回归验证。

2. How Agent Skills Evolve: A Large-Scale Empirical Study of Skills on GitHub

推荐理由: Skill 往往被当作一次性写好的 Markdown 提示词,而不是需要版本维护、测试与故障恢复的软件资产。这篇研究从 GitHub 历史中整理 84,200 个 Skills 与 750,898 次相关提交,分析它们实际上如何修改、为何修改,以及哪些可靠性要求在大量实践中缺席。

3 条核心要点:

  1. 最常见的是功能说明,最稀缺的是验收与恢复。 在作者的组件分类与自动标注下,92.5% 的 Skills 包含功能描述,但只有 35.2% 包含明确的验证步骤、49.6% 包含失败恢复指令,另有 28.9% 缺少触发条件。许多 Skill 能指导 Agent「怎么做」,却没有明确「完成标准是什么、失败后如何回退」,也可能一开始就没有被正确选中。
  2. Skill 会演化,但更新集中在与项目强耦合的少数复杂 Skill。 有可分析演化历史的 Skills 中,58.5% 少于五次演化事件,仅 4% 超过二十次;高频演化组中 86.9% 携带辅助文档、脚本或项目特定资源。修改主要是增补、纠错、精炼以及删除冗余,而非彻底重构。这说明与代码、依赖及工具接口绑定的 Skill 更需要来源关联、变更触发的更新和回归检查,否则旧指令会逐步偏离真实环境。
  3. 标注为「安全改进」不等于风险真的下降。 作者人工筛选出 876 次安全相关变更,用 Cisco 与 Snyk 的 Skill Scanner 比较修改前后高危/严重告警;风险告警减少的比例分别只有 15.2% 与 10.8%,多数没有变化,少数甚至上升。这里衡量的是扫描器可观察的告警数量,不能推断真实漏洞或攻击事件发生率。研究的大规模「怎样改、为何改」分类部分也依赖 LLM 自动标注,故需要结合抽样复核看待。

核心启示: Skill Version → Trigger Check → Task Replay → Verification/Recovery Check → Safety Regression。Skills 应与代码同样具备清晰的执行契约、可追踪版本和回归测试,而不是越写越长的说明文档。

今日思考

两篇论文在不同尺度上得到同一种警示:文字资产的存在,不等于代理行为可靠。第一篇用受控实验说明 AGENTS.md 的同义改写就会改变遵循率;第二篇用真实提交历史说明 Skill 维护常常优先丰富操作说明,却忽略结果验证和失败恢复。

对于 AI-native Software Factory,可以把 AGENTS.md 和 Skills 视作版本化、可评测的执行契约入口:指令表达需要按 Harness/Model 实测;Skill 更新则需要按任务重放、检查验收证据、检测安全与效率退化。两篇研究尚未证明这种工程制度一定提升总体交付成功率,但为建立可验证流程提供了具体的失败模式与测量方法。