Evaluation

ChipMEM 只把通过 EDA 验证的轨迹提炼为程序性记忆，并用工具调用统计指导重试；实验显示它能改善部分 RTL 优化和未见测试平台任务，但迁移证据仍受样本量与单次评测限制。

GPU Forecasters 让 LLM 预测候选 kernel 相对参考实现的性能分布，再把有限的真实 GPU 测量留给更值得验证的候选；实验说明排序信号有用，也显示校准、分布变化与总成本仍是关键边界。

RTL-BenchLS 用原 RTL 与形式等价构造自监督任务，将可验证评测扩展到 10,028 个设计；代价是把正确性锚定为复现参考实现的行为，而不是满足独立规格。

HLSFactory-Agent 从 26 个公开仓库抽取 271 个候选设计，其中 130 个通过 Vitis HLS 综合；这证明了自动抽取的可行性，也暴露出可综合性、功能正确性与数据价值之间的距离。

今天关注 AI-native 工程的两个底层问题：Enola 解释为什么真正决定 coding agent 能力边界的是 harness 对 context、tools、persistent state 和 feedback 的选择；ARIMLABS 则展示了 agent eval 从本地实验扩展到每天约 50 万次执行时，isolated computers、parallel trials、network policy 与 inspectable reruns 如何成为评测基础设施。

今天关注 AI-native 软件工程的两个规模化问题：Sourcegraph 将跨仓库代码变更做成 coordinator + deterministic scripts + coding agents + CI feedback 的 software-factory harness；MSS-Complement 则指出 coding agent 的 context retrieval 应从‘找最相似内容’转向‘补齐当前决策尚缺的最小充分证据集合’。

今天关注 AI-native Agent 的两个关键问题：Basis 把 context 当作生产输入，并用 behavior spec 对长周期 Agent 的过程行为进行可验证约束；HarnessDev 则把评测对象从任务输出推进到 harness 本身，研究模型能否创建并持续演化自己的执行基础设施。