Top AI Papers 中文周报Top AI Papers of the Week — Elvis Saravia / DAIR.AI

一句话agent 跑长任务不用一直攒全量上下文，频繁压缩也能保住效果，还能省大钱。

旧方法

全历史累积，上下文越跑越长，后面 token 比前面贵 up to 7 倍（frontier open-weight 模型）。

方法

三种对照——全历史；到阈值压缩一次；每步只做一个动作、只带一句自然语言状态摘要；还可选择性读输入、压缩当 fallback。

效果

Claude Opus 4.5，SWE-bench Verified 单动作压缩 70.2 vs 全历史 70.0，median peak context 32K→8K；对话末尾压缩最优设置 74.8；长输入在 Terminal-Bench、FRAMES、BFCLv3、多语言 SWE-bench 上基本打平或更好，个别设置小幅下降。

局限

作者自述不能排除某些任务确实需要长上下文；要先在自己的 workload 上测。

对你

直接相关——上期 HarnessMM 讲复用已定决策省 token，这篇是另一路省 token；你们自研 harness / prompt 优化管线里长任务的上下文策略可直接借鉴，先在小 workload 上验证再推全量。

一句话agent 技能库越长越大时，路由器只看技能名和描述会认错人；改写新技能的描述就能治。

旧方法

路由器只读名字+描述；新技能描述撞车就顶掉老技能，哪怕老技能和路由器都没变；公开技能描述与正文经常不符。

方法

新技能入库前检索最相似的老技能，重写描述，写清新技能支持什么、与最近前任有何不同、排除哪些相关工作；不用训路由器、不用标注数据。

效果

技能库长到 731 个、10 个 session 后，路由器选全所需技能的比例 76.3% vs 原始描述 36.4%；替换错误几乎消失，拥挤错误减半；SRA-Bench、SkillRet、SkillRouter × 5 个 LLM 路由器，最终 session 路由准确率平均 +23.1 点，胜过所有对照；在 Codex CLI harness 上也优于原始描述。

局限

效果依赖描述改写质量；库本身干净时收益可能打折。

对你

你们讨论过 skill 是“怎么做一件事”的能力单元；这是技能库治理的实操——给自研平台的技能/工具描述加一条“与最近似技能的区别”纪律，成本极低。

一句话没有专家数据、没有更强教师模型，也能让模型适应新领域——靠它自己从任务经验里学，权重不动。

旧方法

领域适配通常要专家数据或更强模型做教师/微调；权重冻结时一般认为改不动。

方法

维护领域知识库（领域技能、适用条件、任务记忆、改进反思），先从领域材料自举；学习器把训练任务分组交给子学习器并行跑、诊断失败、提修改，只有验证过的修改才合回知识库。

效果

Harvey LAB Firm Knowledge 法律 benchmark，held-out 全通过率 DeepSeek-V4.1-Flash 30.0%→55.0%，Qwen3.8-Flash 35.0%→46.0%；全程无人类专家、无更强模型改知识库。

局限

结果依赖领域语料质量；实验领域有限；把自改进扩展到模型和 harness 本身还是进行中工作。

对你

你们是中文生成、黑盒 API、拿不到梯度——“权重不动、只改知识库/流程”这条路和你们的约束同构；追问/搜索场景的领域适配可先试“验证过的经验入库”，而不是急着微调。

一句话agent 的经验别全塞一个全局历史里；按簇分开记、按簇选记忆机制，又省又好。

旧方法

一个全局历史共享所有过去经验，不同任务的经验混在一起，还越长越贵。

方法

过去轨迹聚类，每簇固定用一种记忆机制（保留轨迹、可复用推理策略等）；跑之前 LLM 路由器按问题描述复用或新建簇；Context Memory Adapter 把记忆输出加进初始上下文、跑完更新簇。

效果

301 个 CL-Bench + 97 个 τ³-Bench 银行实例混合流上，全局历史只比无记忆高 +0.015 归一化 reward；四个语言模型下 Routed CL 比全局历史多拿最大可得 reward 的 15%–30%，估计 API 成本降 65%–72%。

局限

实验是顺序跑的，并行 agent 同时更新同一簇还没测过。

对你

记忆怎么分、怎么复用，是你们 harness / 多轮追问可借鉴的组织方式；成本降 65%+ 值得注意，但注意是估计值、且是顺序实验。

一句话给工具调用型 agent 加一道运行时门禁：合规和“到底做完了没”都先验一遍，模型和工具都不用改。

旧方法

agent 直接调工具做有后果的操作，没有独立检查政策合规、也没有检查任务是不是真做完了。

方法

离线用 LLM 把领域政策、工具 schema、未标注日志编译成代码检查、是非题、规则和交接清单；运行时写操作/交接前，代码核对工具记录里的事实，prefill-only 决策模型用概率回答对话问题；失败就带反馈打回给 agent 改。

效果

τ²-bench Telecom 上 Opus 4.6 三次全过成功率 39.5%→80.7%；8 个 agent 平均 +16.9 点；BFCL 上 9 个 agent 全有提升；Airline 上提升小且有好有坏。

局限

Airline 场景效果不稳定；收益来自 harness 本身，换领域要重新编译政策检查。

对你

直接续上期 Top 1《Verification in Agent Harnesses》——那篇讲 17 种验证设计、独立 reviewer 性价比最高，这篇是落地的运行时门禁实现；你们的 Judge/校准思路（代码检查 + 决策模型）与它同构，值得细看。

一句话把销售策略当可检验的假设来迭代的销售 agent，内循环记客户、外循环攒打法，上线真有效果。

旧方法

多数 LLM 销售 agent 只做单会话、经验存成无结构文本，学错教训也不知道。

方法

双循环——内循环给每个商家维护跨会话情景记忆；外循环维护共享 playbook，每条策略带假设、前提、成败模式；改 playbook 前先做因果归因：分清是策略问题、外部因素还是不确定，外部因素丢单不削弱好策略。

效果

阿里 1688 平台 A/B，20 万+商家，转化率 +15.8%，高意向商家 +35.8%；领域专家打分 4.62/5，各方法最高。

局限

销售场景的结论，迁移到其他领域要重新验证归因规则；专家打分是主观指标。

对你

“先归因、再写进记忆”这条纪律可直接借鉴——你们优化 prompt / 写校准规则时同样怕学错教训；但场景本身离你们较远，速览即可。

一句话教模型自己跑后训练——把顶会论文复现成可执行环境，再拿轨迹微调。

旧方法

自动化模型训练多在优化工作流/harness，而不是教模型本身怎么做后训练。

方法

RSI-Craft pipeline 收集顶会论文，在统一接口后实例化数据集与指标、复现评估依赖；按数据量、执行可靠性、区分度过滤，留 281 个种子训练任务（数学、写作、代码、医疗、知识、推理）；前沿模型在改进版 harness 下解题，rubric + 结果过滤留高质量轨迹。

效果

微调 Qwen3.5-9B / Qwen3.6-35B-A3B，PostTrainBench 分别 +8.74 / +16.87；RSI-Dojo-35B-A3B 达 29.95，Lite 版 53.29，追平 GLM-5.2、GPT 5.5 等前沿模型。

局限

训练任务来自已发表论文的复现，覆盖面受论文池限制；分数是 PostTrainBench 上的结果。

对你

“把论文变成可执行任务再训 agent”对你们评估先行有启发：Judge/校准也可从“可复现的任务池”借鉴；但这是训模型的工作，离你们黑盒 API 的约束较远。

一句话一家只做决策、不生成文本的模型：给状态加固定选项题，直接返回每个选项的概率，又准又快。

旧方法

决策类任务也用生成式大模型慢慢生成答案，慢且贵；或用小模型但决策质量跟不上。

方法

四个开源决策模型（8B、9B、35B 激活 3B、27B），输入状态（文档/记录/agent 上下文）+ 固定选项问题，输出各选项概率、不生成文本；训练用 adjusted feedback 的 RL（教师概率经验证答案调整后当目标）+ 一致性损失，选项重排导致答案翻转的比例 6.3%→4.2%。

效果

27B Max 在公开 Decision Index 0.4.1 上 67.52 vs Jev 1.14.0 的 60.70；Decision Bench v4 上与 GPT-6 Sol、d3-turbo 统计打平，只比 Claude Opus 5.5 低 1.6 点；单次请求 183ms vs Opus 约 3.5s。

局限

只覆盖固定选项决策任务，开放式生成不在其射程；与 Opus 的差距在不同 benchmark 上口径不同。

对你

直接续上两期的决策模型线——上期 DecisionRAG（决策模型走语料库）+ 决策微调 vs reranker（0.6–9B 上 reranker 微调赢 5–29 nDCG@10）；这是“决策模型产品化”的新证据，你们搜索场景的 rerank/决策环节可拿它当对照。

一句话测模型当“队友”而不是当“独行侠”：240 个任务、8 种团队协作技能。

旧方法

benchmark 多测模型单打独斗；团队协作能力没有系统度量。

方法

240 个任务、8 项团队技能，取材真实记录（航空事故报告、临床案例、代码任务、谈判）；只在模型“有完整信息时能独自解出”的任务上计分，隔离协作能力。

效果

18 个模型最好 82.2/100；前沿模型几乎总拒绝不安全的捷径，但在有压力的谈判里只有 14% 拿到最优团队 deal；接手作弊的弱模型留下的任务时，通过率 97%→81%；能力接近的模型当队友时分数能差 11 点；160 个任务公开代码和数据。

局限

只测了“能独自解出”的任务子集；谈判等场景的“最优”定义依赖 benchmark 设定。

对你

多 agent 协作评估的思路有参考价值：EMMA（上期）讲多智能体记忆，这篇讲怎么评协作；但你们当前是单 pipeline + Judge，优先级不高。

一句话OpenAI 按“用户愿意为什么样的生活琐事付钱”建的个人助理 benchmark：3,837 人调研、148 项任务、一年值 1.7 万亿美元。

旧方法

agent benchmark 多用合成任务，与真实用户愿意付费的需求脱节。

方法

调研 3,837 名美国消费者，对 148 项生活任务（管钱、找托儿等）按愿付价格排序；169 个 agent 任务由真正反复做过这些事的人、基于自己的 ChatGPT 对话、记忆和文件编写。

效果

所有模型最常见的失败是答案/建议错，常因漏了过去对话里的事实；只与过去对话相关的标准上胜率 33%，与已保存记忆相关的 48%。

局限

美国消费者样本；任务来自 ChatGPT 真实对话，覆盖面受样本限制。

对你

与你们的搜索/追问场景不直接相关，但“记忆 vs 对话历史”的 33% vs 48% 对比，呼应你们 Judge 校准里“记忆/上下文怎么用”的问题；个人助理类产品的评估可参考这个“愿付价格”的定价视角。