type
date
slug
summary
tags
category
icon
password
Publication Date
Link
Shot Title
Author/Team
Fields
Publication
Notes
Status
status
🧭 读前速览
关键词 ICLR 2027 · Coding Agent · 试错成本 · Agent Harness · 免训练 · 后训练 · 验证瓶颈 · 信息增量 · 研究品味 · 评审噪声
这份笔记从一个实际问题出发。周围的人似乎更快有实验、更快有稿件，我们该怎样知道自己真正需要跟上的是哪一段？
主线 新能力打开题目 → 降低第一次尝试的成本 → 用对照把尝试变成可信发现 → 通过写作与评审让同行理解和使用发现。四段可以分别提速。做完第一份实现、验证一个结论、完成一篇稿件，对应三种不同的进度。
按需阅读 看趋势读 01。想知道同行怎么用读 02。判断研究方式读 03。讨论信息增量和质量读 04。出分后读 05。准备下一轮实验看 06。
01 ｜ICLR 的增长究竟说明什么
这里使用陈宇卓对 2026 年 10 月 8 日公开稿件的统计。表里的领域由作者在投稿时选择，主题标签来自标题匹配。以全会增长 ×2.17 为基线看，才能分清规模扩大和研究注意力迁移。
观察对象 | 数据 | 怎么读 |
摘要登记与稿件 | 摘要登记编号超过 6 万。稿件快照为 19,814 → 43,013 | 摘要阶段的编号与完整稿件分别统计。 |
新增与回流 | 新增 23,199 份。匹配到约 245 份上一届 ICLR 拒稿回流 | 已匹配回流只能解释很小部分。其他会议转投、新进入的作者和 AI 提效还无法分账。 |
基础模型／LLM | 2,646 → 6,766，×2.56，占比 13.4% → 15.7% | 新增 4,120 份，主领域里绝对增量最大。 |
系统与机器人 | 系统 178 → 706，×3.97。机器人／规划 598 → 2,279，×3.81 | 两者份额均上升。系统倍数最高，机器人增加的篇数更多。 |
跨领域 Agent 主题 | 标题份额 6.2% → 12.2%，约 1,230 → 5,244 份 | 篇数约 ×4.3。Agent 横跨多个主领域，标题标签与主领域不能直接相加。 |
增长较慢的主领域 | RL ×2.25，应用 ×2.04，数据／评测 ×2.00，对齐 ×1.93，生成模型 ×1.73 | RL 份额基本持平。其余几项稿件都增多，但占全会的份额下降。 |
值得继续追的关键词 Harness / skills、Agent memory、coding agents、自我改进、world models、VLA、on-policy distillation。另一份标题与摘要分析也发现 Agent 份额接近翻倍。RL 大类变化平缓，on-policy distillation 却从几乎没有增长到数百篇。大类统计容易把内部的方法迁移平均掉。
选题判断 先问是哪项能力变化让问题变得可做，再问哪些环节能交给 Agent。热门方向可以同时有新工具、新平台和更大的研究人群。投稿趋势本身只回答社区在研究什么。 陈宇卓 · ICLR 2027 投稿分析 · ICLR 标题与摘要趋势 · 摘要登记口径
02 ｜同行实际怎样提速
ICLR 作者自报 Reviewer3 检查 1,022 份投稿，有 896 份声明可解析。润色、编辑或翻译 97%，写代码或调试 58%，搜文献 39%，实质起草 26%，构思、假设或方法 25%，执行实验或分析 15%。类别可重叠，抽样代表性与节省工时未知。另一组消费者套餐数据里，Claude Code 科研会话近一半是数据分析，AI/ML 占科研会话 15.2%。会话份额反映活动集中度，同一个人可以贡献多次会话。 ICLR 披露样本 · Claude 科研会话研究
工作 | 可以反复交给 AI | 要拿回的东西 |
检索与恢复上下文 | 查近邻论文、关键词变体、代码与数据，把新论文和自己的旧结果对上 | 原文定位、最接近基线、协议差异、值得核读的反例 |
思路与小尝试 | 列竞争解释，把一个想法做成原型，先检验必要前提 | 能改变去留判断的一份观察，附样例与局限 |
实现、实验与诊断 | 复跑基线、接数据、写测试、批跑对照、查作业和逐例差异 | 版本、配置、运行编号、原始结果和失败记录 |
整理与成稿 | 按日志生成表图、整理主张、核查正文和引用、起草和修订 | 每条关键主张对应的实验或原文。图表可重建 |
重复使用与尝鲜有区别。 一项对 1,260 名量化社科研究者的调查，把常用定义为每周使用 coding agent 超过一次。经济学样本为 39%，政治学 25%，公共卫生 6%，教育 4%。虽然这是一份自愿参与、提供账号机会的样本，但可以对照理解为什么同一类工具在可反复运行代码的任务上先进入日常。它没有测 ICLR 子领域的采用率。 量化社科调查
五个有过程记录的例子
- 日常信息接续。 Simone Scardapane 的研究助手会指出新论文与自己某次实验的共同问题，也会在会前从项目日志里指出哪些基线还没重跑。他对整个系统值不值得维护仍无定论。可复用的是把文献线索接到手头的实验。 个人复盘
- 从排障进入科学问题。 Gao 和 Jiang 的高能物理项目让 Agent 沿配置、日志和逐事件输出定位异常，区分软件约定和物理效应，并实现区分解释的对照。ZIB 的剪枝案例则从原方法失败追到激活失衡，进而提出权重修正。两组都展示了可委派的诊断过程，缺少人工工时对照。 高能物理项目 · ZIB 剪枝案例
- 夜间实验接续。 Hugging Face M4 在训练结束或失败时启动新会话，由 Agent 读日志、写分析、决定下一批候选。其最佳数据配比在指定评估中由 58.8% 到 62.8%，给定预算为 11,000 H100 小时。小组最容易搬走的是结束即汇总、失败留痕、次日能接着判断。 M4 的账本和曲线
- 推导、数值检查与写作同步。 Ankur Gupta 用 Claude Code 复现前人推导和数值图，核对边界条件后再做扩展，逐任务保留纠错记录。他报告两项理论问题历时 15 天、本人投入约 80 小时，此前已经思考过这些问题。可复用的是让图、计算和主张随着实验一起长出来。 作者复盘与工时
- 多试几个原本不会做的想法。 METR 访谈中，有研究员说同时试多个点子带来了有前景的方向，也有人认为团队扩招对整体提速贡献很大。这里能学到的是试错范围如何扩大，访谈不足以给普通小组一个通用倍数。 METR · Anthropic 研发访谈
03 ｜按实验方式判断谁更容易获益
研究方式 | 哪里容易提速 | 要守住的条件 |
固定基座上的 Agent、推理、检索和评测 | 改 prompt、harness、记忆、工具策略后即可批跑。常可先用小样本找信号 | 开发与确认分开。跨任务、换模型和等预算检验，防止只适配了评分器 |
ML 系统与算子优化 | 有参考实现时，Agent 能连续编译、测正确性、看 profile、改性能 | 用未见形状和代表性硬件复验。报告端到端代价与对照版本 |
后训练与 RL | 链路成熟后可委派数据配方、奖励实现、作业监控、checkpoint 对比 | GPU、数据权限、rollout 环境与独立评估是前提。短程曲线能否预测正式结果要单独验证 |
机器人、VLA 与世界模型 | 开放权重、公共轨迹和仿真降低启动成本。代码适配和失败切片可并行 | 采集、校准、设备排期与真机跨场景验证仍有现实周期 |
开放选题与端到端成稿 | 轻量数字实验已经可以把选题、执行、写作和复核连起来 | 研究范围、实验规则与独立评价仍影响成果价值。可重算给出可核查性，贡献要另外判断 |
证据里的具体边界。 一项 deep-research 提示优化工作用了主题隔离测试和不同评分模型。GPU 算子评测发现有些实现换形状后会错。30B 自主后训练已有公开实例，但它从接好的训练链起步。Ko Fujimura 用一台笔记本做本地实验、调用在线模型，报告五轮均从选题走到可重算稿件，稿件质量评价也来自 AI。最有把握的判断是：一轮越便宜、输入越可访问、反馈越能发现失败，越有条件把 AI 变成日常节奏。公开资料还不足以给各子领域的平均节省工时排名。
04 ｜把篇数、可信度和信息增量分开
标题与重复。 博客中所谓自动化研究标题风格由 0.44% 上升到 2.69%，量到的是写法的扩散。在 126 份进入全文复核的稿件里，11 份判为同一工作、91 份判为不同论文、14 份只共享结果数字。分母是被筛出的线索，召回率仍在研究。对自己的选题，最值得核查的是近邻论文有没有回答同一个问题，而两篇工作各自依赖什么证据。
引用与查证。 同口径下，2027 抽样稿件至少有一条未解析引用的比例低于 2024 对照。未解析条目中有真实但难索引的数据集、软件和 workshop 文章。查到条目只完成了书目核对，下一步还要核实原文能否支持引用它的那句话。 陈宇卓 · ICLR 2027 投稿分析
信息增量可以用一句话验收。同行读完后，对哪件事可以比之前更确定？如果只剩一个更高的总分，他能从中决定什么？
研究品味可以落实到三次选择：挑一个有分量且可证伪的问题，找一个能区分解释的对照，看到结果后知道该追、该收窄还是该停。一个负结果只要改变了下一步，也可以有很高的信息增量。Osborne 看见 AI 把熟悉的数学工具组合成他原先可能不会尝试的路线，Mahan Mj 则提醒，结果出得太快会挤压社区理解与消化的时间。两种感受可以同时成立。 数学研究者署名讨论
把审计方法搬回科研。 陈宇卓先让开放权重模型扩大检索范围，再对少数候选核查全文、图表、引用和结果数字。用已知同一工作作正对照，同领域不同工作作负对照，同时保留未解决的漏检问题。小组可以照这个逻辑组织实验：第一轮筛出值得追的异常，确认阶段用独立数据和关键对照决定结论能写多强。
原博客给会议的建议。 投稿时前移 PDF 与引用核查，用全文和作者重合信息复核疑似重复。机器负责排序，疑难交由人判断，自动处理限于可客观核实的情况。作者也建议通过可信第三方交换论文指纹来排查跨会重复，减少共享全文的必要。
05 ｜出分之后怎样读评审
- 先把单条评分和稿件均分分开。 11 月 6 日约 4.1 万份有分稿件中，29.7% 的均分恰好是 2，是最常见一档。另一份快照中，稿件均分中位数为 2，单条评审给 2 的比例为 57%。今年采用四档量表，且仍处于讨论期。历史质量变化需要同尺度证据。 稿件均分分布 · 单条评分与稿件均分
- 评审波动有证据，长期加剧仍待验证。 NeurIPS 2021 的双组评审中，23% 的同一批稿件收到不同录拒建议。NeurIPS 2025 主席报告了扩招、匹配和审稿疲劳带来的压力。ICLR 2017–2025 的分析没有发现稳健上升趋势。ICML 2026 比较两种 AI 使用政策，分数与决定差异接近零，但两组均有政策不遵守。负荷、实际 AI 使用和录用噪声之间的因果关系仍未量清。 双组评审 · 主席复盘 · ICLR 历年噪声 · ICML 审稿政策实验
- 边缘拒稿仍可能发展。 ICLR 2026 被拒稿件中，均分 4.5–5.5 的约 21% 后来被 ICML 或 NeurIPS 接收，均分 ≤2.5 的约 2%。原评分有区分力。修订、重投选择和会议差异共同进入这组统计，因而它衡量的是后续流向。另有 20.5% 的 ICLR 2027 稿件可找到同名 arXiv，量到了身份可查找性，实际评审影响未知。 陈宇卓 · ICLR 2027 投稿分析
对自己的反馈处理。 把缺失对照、复现困难、主张范围过宽写成下一轮实验任务。把分数和录拒记为一次观察。看同行时，拿相近资源、相近验证条件下的反馈周期作比较。别人公开的中稿清单和自己经历的所有失败、排队与返工是两个样本。
06 ｜可复制的实验决策卡
每轮先写 我希望改变的判断 → 最可能的两种解释 → 能区分它们的对照 → 每种结果触发的下一步。把这一条写清楚以后，再把可运行的工作交给 Agent。
视觉 Agent 示例 | 怎么做 | 回答什么 |
观察本身有没有价值 | A 组使用原图，B 组加入同预算下的随机 crop。尽量匹配解码配置，并单列额外视觉输入成本 | 增加一次观察本身能带来多少变化 |
策略能不能挑对 | C 组在与 B 相同的候选集合与调用预算下由策略选择。在同一批样本记录配对结果和逐例输出 | 主动选择相对随机选择的增量 |
收益能不能保留 | 独立确认集分开报告。查候选覆盖、失败切片、延迟、token 和误差范围 | 区分偶然提升、候选太弱和选择能力不足 |
如果 B 和 C 都领先 A，且 C 接近 B，先关注额外观察的价值。如果 C 稳定领先 B，优先查它在哪类样本选得更好。如果三组差异都小，先看候选覆盖和评估是否能区分，避免过早上昂贵训练。这是一张拟议实验卡，结果分支均为假设。
如何知道自己提速了 每轮记提出问题的时间、拿到可判断结果的时间、实际人工投入、算力或 API 成本、返工与无效运行。队列等待单列。先选几件熟悉的小任务比较质量与时间，继续、改方向和及时停下都计作研究决策。
07 ｜接下来值得追的三个问题
- 哪些工作节省的是人手，哪些真正缩短了从问题到可靠反馈的周期？
- 当同一批人每周能试更多候选，增量来自更好的实验、较早淘汰弱假设，还是更多可提交稿件？
- 能否将 ICLR 作者披露、具体实验方式和研究者投入连接起来，量到子领域真实的提速差异？目前的投稿与会话数据各只能看到一部分。
2026 年 11 月 9 日修订。公开数据与作者观察按各自来源标注。领域提速比较、实验卡和后续问题属于基于本轮讨论整理的判断，具体收益需要项目内验证。