今天选择两篇 2026 年 11 月 12 日公开的原创工程文章:一篇讨论如何把反复解释给 Agent 的工程做法沉淀成跨工具复用的 Skill;另一篇展示产品分析系统怎样主动寻找改进机会,并将需求交给 Coding Agent 交付后测量真实效果。
它们分别回答同一个问题的上下游:工程判断怎样成为可复用的 Agent 能力?这些能力最终怎样形成用户可感知、可量化的产品改善? 第一篇是 GitHub 的方法与示例,第二篇是 Amplitude 与 OpenAI 共同发表的客户案例。两者不是随机对照的通用行业基准,尤其需要区分演示设计、单个产品实验和可复现的整体效果。
1. Build once, run on any agent: A practical guide to agent skills
- 作者/来源: Andrea Griffiths / GitHub Blog;示例来自 GitHub Universe 2026 与 Shishir Tewari(Procore)的分享
- 发布日期: 2026-11-12
- 原文: https://github.blog/ai-and-ml/github-copilot/build-once-run-on-any-agent-a-practical-guide-to-agent-skills/
- 相关技术: SKILL.md、Agent Skills、Manifest、Client Adapter、GitHub Actions、Independent Verification、CI
推荐理由: 这篇文章把 Skill 从“给模型一段提示词”推进到可版本化、可复用、可校验的工作单元:明确触发条件、输入输出、共享项目上下文、执行适配层与权限边界。文章还给出 Data Forge 和 Proof Agent 的具体组织方式,适合用来判断哪些工程经验应当写成 Skill,哪些稳定状态、权限检查或长期协调功能必须留给 Harness/应用程序。
3 条核心要点:
- 一个 Skill 只负责清晰、可重复的工作,并把项目事实与通用步骤分离。 Skill 是以
SKILL.md为核心、受版本控制的目录;Data Forge 用forge-init发现源表、命名等事实并生成 resolved manifest,其余的forge-builder、forge-dbx、forge-lint读取同一份上下文,避免把不同项目的数据库、规则和命令硬编码进多个 Skill。团队标准不应由 Agent 随意把仓库既有习惯推断出来,仍需人工确认。 - 复用的是指令与操作契约,不是凭证、权限或完整运行环境。 Data Forge 通过一个数据访问 Skill 读取 manifest,并选择 DuckDB 或 Databricks 适配器;主机负责安装 CLI、配置连接与授予访问权限。示例将
skills/*/SKILL.md作为源,通过scripts/package.mjs生成 Claude Code、Cursor、GitHub Copilot 所需的不同入口,并在 CI 里执行node scripts/package.mjs --check检查生成文件是否同步。跨客户端可移植需要逐一验证工具、引用文件与行为,不能仅凭格式兼容宣称可运行。 - Skill 指令负责引导,独立验证与 CI 才能落实验收。 Proof Agent 让独立审查者只接收原始请求和代码差异,而不依赖 Coding Agent 自己的评价,输出有文件证据的
PASS/FAIL/PARTIAL。GitHub 明确指出该示例只是对 Diff 的静态审查,不会执行代码或测试;演示工作流还设置了block-on-fail: false,因此其结果是建议性的。真正的阻断必须由仓库的必需 Checks、测试和分支规则配置完成。
核心启示:
Reusable Skill + Project Manifest + Host Permissions + CI Verification。Skill 适合封装有明确边界的重复工作;需要持久状态、审计、运行控制或强制权限的场景,应由 Harness 或应用层承担。
2. How Amplitude ships product improvements in 1–2 days with OpenAI
- 作者/来源: OpenAI Customer Story / Amplitude(受访者包括 Spenser Skates、Jacob Newman、Eric Carlson)
- 发布日期: 2026-11-12
- 原文: https://openai.com/business/customer-stories/amplitude/
- 相关技术: Wave、Product Analytics、Session Replay、Coding Agents、Codex、A/B Testing、Task-based Model Routing
推荐理由: 常见 Coding Agent 的入口是人类写好的 Issue,而 Amplitude 的 Wave 尝试再向前推进一段:根据用户行为、反馈、产品代码主动发现值得做的事,形成附有验收标准的改进计划,交由 Coding Agent 实现,再依据真实实验结果决定是否继续。这是 AI-native Product 从“代码自动生成”转向“发现—实现—测量”闭环的具体案例,同时提供了模型分工、成本和实验数据,值得辨析哪些数字真正反映产品收益。
3 条核心要点:
- 把用户行为证据变成待开发的具体任务,并保留产品决策权。 Wave 结合分析指标、Session Replay、客户反馈和代码寻找改善机会,生成方案、技术计划及验收标准,再交给 Codex 等 Coding Agent。Amplitude 首页案例中,系统分析了 100 段 Session Replay:80 位用户自行输入问题,12 位使用建议卡片;据此提出用近期图表、仪表盘和来源页面个性化卡片,同时保留自由输入和无上下文时的通用回退。人类先快速审查,再交给 Agent 实现。
- 用实际产品实验检验价值,而非以 PR 数量代替效果。 首页改动 A/B 测试首日,来自建议卡片的消息发送量相对对照组提升 160%;这仅是一个已报告实验的特定指标和时间窗口,不是总体留存率提升,也不能证明长期因果收益。Amplitude 估计 Wave 可把产品改善交付周期从约一个月缩至 1–2 天;另据客户已上线的实验、Feature Flag 和引导流程统计,四分之一在发现机会当天上线,一半不到四天、三分之二一周内上线。后者是已上线项目的分布,不能等同于所有识别机会的成功率。
- 按任务分配模型,并单独评价质量、成本与时延。 Wave 将复杂机会调查交给 GPT‑6.1 Sol,将代码扫描和小型检查交给更低成本的 GPT‑6 Luna,将线框图交给图像模型。Amplitude 报告机会调查任务中 GPT‑6.1 Sol 综合评分 4.06/5、中位耗时 54 分钟;数据科学任务评分 67.5/100,略低于另一模型的 69.3,但平均模型费用 $1.28/次,对方为 $2.63。不同评测集与任务不能相互混用。对于上线权限,团队可按风险选择自动化层级:较明确的 Bug 修复更适合直接分派,较大功能改动保留人类审查。
核心启示:
Product Evidence → Opportunity → Technical Plan + Acceptance Criteria → Coding Agent → Controlled Launch → A/B Measurement。Software Factory 要优化的是交付后的真实产品指标,而非 Agent 调用次数或生成代码量。
今日思考
两篇文章分别补齐 Agent 工程能力资产和 产品需求与效果反馈。如果仅将 Skill 打包给多个工具,却不校验宿主的权限与执行一致性,复用会演变成新的不确定性;如果仅将编码流程自动化,却缺少用户行为证据与实验反馈,交付速度也可能只是更快地制造无用功能。
一种更完整的设计是:
User Evidence → Scoped Opportunity → Shared Manifest + Skills → Coding Agent → Independent CI/Review → Experiment → Updated Product Evidence
值得追问: 哪些产品数据可以成为机器可读的验收条件,而不把短期点击指标误认为用户价值?对于不同 Coding Agent 客户端,应怎样复用同一份技能定义,同时确保执行权限、上下文发现和审核结果具有一致的意义?
证据边界: 两篇均为 2026-11-12 的非论文原创文章,不涉及 arXiv/AlphaXiv。GitHub 原文公开的是方法及开源示例,不提供跨客户端大样本可靠性评测;Amplitude 的交付速度、模型评分和产品转化数据来自客户案例披露,尚不能视为第三方独立复现。