结构推理拿67项SOTA,异步RL入GLM-5.2

今日概览

  • 原生结构推理让预测和解释走同一条链:SciReasoner把结构离散成可引用的token而非压成embedding,86个benchmark拿下67项SOTA,双盲专家98%认可其推理轨迹不逊于前沿大模型。
  • 选coding agent,选的是谁半路不把你带沟里:AgentLens把评测从pass/fail的一个bit搬到整条轨迹,形式验证之外用LLM写可读评审,已接进nightly流水线抓产品回归。
  • 给线性注意力装个稀疏记忆库补recall短板:Sparse Delta Memory把state容量放大几个数量级、每次只稀疏读写一小部分,走「扩state不扩算力」这条路。
  • 异步RL的真正难点不是吞吐,是提速后还稳不稳:SAO用单rollout采样压低off-policy偏差,稳定训练一千步、超过GRPO,已落地GLM-5.2(750B-A40B)训练管线。

重点关注

01 AI for Science 让模型沿着物理约束一步步推,而不是直接回归出数值

原生结构推理(native structural reasoning)是SciReasoner的核心做法:它不把蛋白质、小分子、无机晶体的结构压成一个embedding再回归出结果,而是把坐标、拓扑、周期连接离散成一套统一的「结构词表」,让每个结构token都成为推理时可以引用的证据单元——沿着立体化学、成键、对称性、能量学这些真正的物理约束一步步推。这解决的是AI做科学时的老矛盾:能预测得准的说不清为什么,能解释的又算不动。从摘要给的数字看结果是扎实的:低同源蛋白的基因本体注释F_max从0.42提到0.55,单步逆合成准确率从0.63到0.72,且同时给出片段级的断键和前体验证轨迹;86个benchmark里67个拿到SOTA。最值得注意的是双盲专家评估——98%的情况下,它的推理轨迹被认为不逊于甚至优于一个前沿大模型,这比裸的准确率数字更能说明「可解释」不是自我宣称。当然摘要只能看到目标和头部指标,可解释性到底做实到什么程度、专家评估的样本和标准如何,需要看全文确认,但对做AI+科学的团队,把结构当成可检视的推理底座这个方向值得跟。

把结构离散成可引用的token而非压成embedding,是让预测和解释在同一条推理链上共存的关键思路双盲专家98%认可推理轨迹,比准确率数字更能佐证可解释性不是黑盒包装做AI+科学的团队值得关注「原生结构推理」这条路线,但可解释性的成色仍需看全文和评估细节。

02 评测 你选coding agent,是在选谁半路上不把你带沟里

大部分coding agent的benchmark把一次运行压成一个bit——过了还是没过。但真正用agent的人,体验的是整条轨迹:它怎么follow你的指令、怎么调工具、犯错之后有没有自查和回头、以及一路上怎么跟你沟通。AgentLens把评测对象从「结果」搬到「过程」:能用形式验证客观判定的地方就用形式验证,判定不了的地方交给LLM写一份可读的轨迹评审,再配上不同版本的side-by-side对比。作者自己拿它来诊断模型行为、对比自家agent的迭代版本,还接进了每晚跑的评估流水线去抓产品回归——这几个用途比单纯给模型排名更接近日常需求。当然,LLM写的评审本身也会带偏见,能不能替代人工审查还需要看全文里的一致性数据,但把「过程」变成可评估、可对比的信号,这个方向对选型和调优都有实际价值。

单一pass/fail掩盖了agent最要命的差异——犯错后能不能自己回头轨迹级评审能进nightly流水线抓产品回归,比人工review更可持续开源benchmark,做agent产品的团队可以直接接进自己的迭代循环。

03 模型架构 给线性注意力装个稀疏记忆库,能不能补上recall这块短板?

线性注意力模型(linear attention)有个结构性优势:state大小固定、每个token算力固定,长文本推理成本不会爆炸。代价是state太小,长上下文里「记住前面说过什么」这件事,一直打不过标准的softmax attention。想补这个短板,最直接的办法是把state放大,但FLOPs会跟着一起涨,优势就没了。Sparse Delta Memory(SDM)的做法是绕开这个线性关系:在Gated DeltaNet基础上,把稠密的key-value外积换成对一个大型显式记忆库的稀疏读写——state容量放大好几个数量级,但每次只碰到其中一小部分,算力不跟着膨胀。论文还进一步把这个记忆库的初始状态做成可学习的参数,让它兼当「参数化记忆」,在常识和推理任务上也拿到提升。这条「扩state不扩算力」的路线值不值得走,关键要看等FLOPs、等参数量下recall实际换到了什么点位,这些需要看全文的对照实验才能判断。

稀疏寻址是给线性RNN扩state同时压住FLOPs的一条具体解法,做长上下文/推理效率的团队值得对照自己的方案看论文声称在等FLOPs、等参数量下recall明显改善,但线性注意力补recall向来是难点,具体点位要看全文数据把记忆库初始状态做成可学习参数这一手,等于让同一块结构既当工作记忆又当知识库,是值得留意的设计思路。

04 训练优化 异步RL提了吞吐,却把稳定性晾在一边

异步RL大多只盯着吞吐这一个指标,把稳定性晾在一边。同步、batch交错的老管线跑长程agentic任务时,快的rollout得等慢的,算力大量空转;异步RL用「rollout一到就更新」提了吞吐,但训练稳不稳、任务做不做得成没人管——尤其GRPO那套按组采样的机制,本就不适合异步场景。SAO(single-rollout异步优化)的做法是每个prompt只跑一个rollout,配合value-model的训练设计来压低off-policy的偏差,再加一个双侧token级的严格裁剪来稳住优化。结果是能稳定训练一千步,在SWE-Bench Verified、数学推理等agentic benchmark上稳定超过GRPO及其变体,并已用在开源GLM-5.2(750B-A40B)的训练管线里。对做agentic RL系统的人,这提醒一件事:异步不是免费的午餐,提速之后真正难的是把稳定性和任务效果一起兜住。

GRPO的按组采样不适配异步agentic训练,SAO改用单rollout采样降低off-policy偏差异步RL的真正难点不在吞吐,而在提速后的训练稳定性和任务效果已落地GLM-5.2这种超大模型训练,是经过大规模验证的方案而非纸面设计。
结构推理拿67项SOTA,异步RL入GLM-5.2

也值得关注

05
城市尺度的空间智能,缺的是真实规模的数据 机器人WildCity用自动驾驶车队实采出几十平方公里的多模态testbed,把渲染、仿真、空间表征放到真实城市规模上验。链接
06
想同时松开探索又不失稳,把RL的两难两头兼得 训练优化UP用「无界正向非对称优化」松探索的同时稳住训练,和今天的异步RL一样在啃RL后训练的稳定性问题。链接

今日观察

值得把今天的AgentLens和SAO放在一起看——一个站在评测端,一个站在训练端,却指向同一道裂缝。AgentLens不满于把一次agent运行压成pass/fail的一个bit,因为真正的差异藏在整条轨迹里:它怎么follow指令、犯错后能不能自己回头。SAO不满于同步batch RL在长程任务上让快rollout干等慢rollout、算力大量空转。一个说「评的方式过时了」,一个说「训的方式过时了」,底下是同一件事:LLM应用早已从单轮问答挪进了长程agentic任务,可围着它的基础设施——评测框架和RL管线——还停在单轮时代。任务先走了一步,工具没跟上,错位就出在这里。如果你在做agentic产品或训练,别再拿单轮时代的默认工具凑合:评测别只留一个pass/fail,至少给关键任务补一层轨迹级的诊断信号,把「半路怎么走的」记下来;训练若上了异步,先确认稳定性和任务完成度没有被吞吐这一个指标盖过去,再决定要不要继续加速。