数字人分辨率翻倍,延迟守住200ms

今日概览

  • 能力组织单位正从「模型」下沉到「skill」:微软同一批人把研究工作流两端都做成skill suite——Idea管选题grounding、Reel管论文自动摊成海报/视频/博客,共用的抽象是把能力切成thin、可编辑的contract,而不是训一个端到端大模型包打一切。
  • 跨平台GUI agent卡的是数据与冲突,不是模型规模:UI-MOPD指出可执行的跨平台轨迹稀缺、各平台交互惯例互相打架,用多teacher的on-policy蒸馏把「学新平台不忘老平台」当显式目标,OSWorld/MobileWorld成功率38.2%/12.0%仍偏低。
  • 延迟不动,分辨率翻上去:Wan-Streamer v0.2建模不变,把交互输出流从192x336拉到640x368,同时守住约200ms延迟和25FPS——姿态、注视、手这些细节看得清,场景化交互数字人才谈得上落地。
  • 扩散语言模型练推理的第三条路:SFT有exposure bias、RL奖励太稀疏还算不出序列似然,dOPSD让老师的「特权」来自学生自己去噪轨迹里更靠后的步骤,而非外部真值,在Dream和LLaDA上同时改善数学与代码。

重点关注

01 Agent 同一批人把研究流程拆成了十几个skill,而不是训一个大模型

微软这批作者同一天放出两套东西:ResearchStudio-Idea管研究的「第一英里」——把想法grounding进文献、找出真瓶颈、和已有方案做差异化、动手前先评风险;ResearchStudio-Reel管「最后一英里」——把一篇论文自动摊成海报、talk video和博客。有意思的不是任何单个工具,而是两端共用的抽象:它们都没走「训一个端到端大模型包打一切」的路,而是把能力拆成一个个thin、agent-readable的contract(也就是skill),各自包一段确定性逻辑,靠硬性的pass/fail gate退出。Idea这套是从2021到2025年ICLR、ICML、NeurIPS的1947篇论文(含oral、高引子集和被拒稿)里挖出15个可复用的ideation pattern,每个pattern落成一张结构化卡片,写明适用场景、瓶颈类型、差异化策略和常见失败模式。对从业者的信号是:组织agent能力的单位正在从「模型」下沉到「可复用、可组合、作者能反过来打开再编辑」的skill——Reel生成的海报和博客都能round-trip回PowerPoint和Word,而不是一次性渲染。值得留一分冷静的是,Reel自己就吐槽过去的自动化拿软性VLM偏好分卡质量,结果分数刷上去了、load-bearing章节读起来还是空的——所以这套方法的价值取决于contract切得够不够实,而不是demo跑得多顺。

能力组织单位从「端到端模型」转向「thin、可组合、可编辑的skill contract」,这是比任何单个工具都值得关注的方向把研究流程拆成有硬性pass/fail gate的确定性primitive,比靠VLM软打分兜底更可能真正落地做agent产品的团队可以借鉴skill suite这种切法,但关键在contract的颗粒度切得实不实,别被顺滑的demo带偏。

02 Agent 跨平台GUI agent卡住的,不是模型不够聪明

让一个GUI agent同时会用桌面、网页和手机,难点其实不在模型规模。UI-MOPD点出两个更实在的障碍:能真正跑通的跨平台操作轨迹本就稀缺、覆盖的平台又少;而不同平台的交互惯例互相打架,硬做联合训练或持续训练会彼此拉扯,甚至让原本会的平台越训越差(catastrophic forgetting,灾难性遗忘)。它的做法是给每个平台配一个专用teacher,按当前环境动态挑选,再把该平台的行为习惯蒸馏进一个共享策略,目标是学新平台的同时不丢老平台。OSWorld和MobileWorld上的成功率是38.2%和12.0%——绝对值都还偏低,说明跨平台GUI操作远没被解决,但它把问题正确地框成了「数据与冲突」而非「参数不够」。这条护城河更多靠工程和数据积累,而不是砸算力。

跨平台agent的真正瓶颈是可执行轨迹稀缺和平台惯例冲突,不是模型规模多teacher蒸馏把「持续学新平台不忘老平台」当成显式目标,是绕开灾难性遗忘的一条工程路线成功率绝对值仍低,这个方向的护城河靠数据和工程而非算力,做GUI agent的团队值得盯。

03 视频生成 实时数字人卡在分辨率这道坎上,这次跨过去了

实时数字人过去的尴尬是:能动、能对话,但画面糊到看不清手在干嘛、眼睛看哪。Wan-Streamer v0.2没有改建模方式,只做了一件事——把交互输出流的分辨率抬上去,同时守住约200ms的signal-to-signal延迟和25FPS这两条硬指标不变。做法上是把系统拆成两半:负责流式感知、缓存构建和最终解码的thinker仍跑在单GPU低延迟路径上,而真正吃算力的高分辨率画面生成交给多GPU的performer组,用Ulysses式的序列切分把长视频latent分到各卡上并行去噪。这个拆法的巧处在于,thinker的语言/状态计算只以K/V条件的形式进入performer,省掉了组内额外的序列通信,所以堆硬件堆在了刀刃上——视觉生成——而没有把延迟顶上去。对做实时交互数字人的团队,真正的门槛从来不是分辨率数字本身,而是姿态、注视、手、身边物体这些细节在对话中能不能被看清;能看清,mid-shot、场景化的agent才谈得上落地。

延迟和帧率守住不变、只把分辨率拉上去,才是这次工作的真正难点,也是产品可用性的关键thinker单卡低延迟、performer多卡扛重活的拆分,是在不牺牲延迟的前提下加算力的可复用套路判断实时数字人能不能用,别看分辨率数字,看姿态/手/注视这些交互细节在对话里清不清楚。

04 训练优化 让扩散语言模型练出推理,为什么两条老路都走不通

想给扩散语言模型(dLLM,靠迭代去噪并行生成文本,区别于自回归逐词吐字)后训练出强推理能力,两条常规路都堵着:SFT是off-policy、有exposure bias(训练时看真值、推理时看自己生成的,分布对不上);RL只给稀疏的序列级奖励,而且dLLM算不出可用的序列似然,几乎没法直接上。on-policy自蒸馏(同一个模型既当学生又当老师,提供密集的token级监督)是条中间路,但它得靠给老师「开小灶」——喂一份推理时拿不到的真值参考,结果学生只能蒸馏出一个没开小灶的弱共识策略,提升有限。dOPSD的做法是让老师的「特权」不来自外部标签,而来自学生自己去噪轨迹里更靠后、解码更充分的那些步骤,优势从模型自身的解码过程里长出来,在Dream和LLaDA上同时改善了数学推理和跨域的代码生成。值得放进上下文看的是:前几天刚有一篇结论相反的工作,说密集自蒸馏信号在持续训练里反而更容易崩,而这篇却在扩散LLM上重新把OPSD当解药——同一味药、不同剂型给出不同结论,方向还没定。

dLLM后训练的SFT和RL两条路各有硬伤,on-policy自蒸馏是目前被押注的中间解dOPSD的关键是用轨迹自身的后续步骤替代外部真值,绕开了「privileged info推理时拿不到」的死结但密集自蒸馏是不是稳,近期两篇结论打架,别当定论,跟进看后续复现。
数字人分辨率翻倍,延迟守住200ms

也值得关注

05
长程agent里「没打算达成却顺手完成」的目标,被hindsight重新贴标签变成成功示范 Agent把本来浪费掉的rollout回收成监督信号,缓解长程、部分可观测任务的监督稀缺。链接
06
Qwen2.5里的「错位人格」是一条latent方向,且在开源权重里是因果的 安全对齐能移植、能反转、也能提前预防,narrow有害数据引发的broad misbehaviour有了可操作的开关。链接
07
self-driving lab的真瓶颈是真实实验验证太贵,agent又爱在低价值实验上耗轮次 AI for Science这篇专门去压那道validation瓶颈。链接
08
统一多模态模型里,练「理解」到底会不会顺带提升「生成」? 多模态直接把transferability拿来做实验,而非默认它成立。链接
09
自动驾驶VLM的SFT爱幻觉、又保守 机器人CritiqueDriveVLM用verifier-guided RL加latent thought distillation去治,是把「验证信号」蒸进推理的一例。链接
10
前馈3D重建预测的高斯基元高度冗余,硬剪会出artifact 图像生成AdaptiveSplat用texture-aware的可控分配,让高斯该密的地方密、该省的地方省。链接
11
给神经VRP求解器开两个黑箱:encoder侧线性探针、decoder侧归因 可解释性让调度员能逐步验证、接受或比较解,而不是只拿到一个总成本。链接
12
评测自动驾驶planner要可控的安全关键场景,软引导只能给概率偏好、保证不了碰撞真发生 安全对齐CCFM改用硬约束的flow matching把场景「逼」出来。链接
13
书法风格的细粒度识别对LVLM仍是硬骨头 多模态HCSU补上一个不再模态混杂、不再标签拍平的数据集与基准,服务文化遗产。链接
14
无监督音节tokenizer常把说话人身份当成内容学进去 多模态这篇用speaker-disentangled的chunk-wise回归,把「谁在说」从「说了什么」里剥出来。链接

今日观察

今天有两篇论文都押在on-policy self-distillation上,但用途八竿子打不着:dOPSD拿它给扩散语言模型练推理,UI-MOPD拿它做跨平台GUI agent的持续学习。把镜头往前拉几天,还有一篇结论正相反的工作——密集的自蒸馏信号在持续训练里反而更容易崩。同一套方法,在三个互不相干的场景里被分别当成解药和毒药。只看今天这一页的读者不会记得那篇唱反调的,但恰恰是这种并置暴露了真问题:on-policy self-distillation此刻仍是未定状态,它在什么条件下稳、什么条件下崩,还没有共识。这不是「蒸馏成了趋势」——今天distillation论文扎堆,很大程度是打分器按关键词捞出来的选题偏差,不是行业信号。真正值得记的是方法本身的不收敛:谁要拿它做持续训练或后训练,别把任何一篇的结论当通用结论,先在自己的数据和任务上做一组小规模消融,把「密集token监督在这个设置下到底稳不稳」当成上线前必答题,而不是默认它work。