VLA记忆入latent,世界模型60fps跑720p

今日概览

  • VLA的记忆不该外挂,而该搬进原生latent层:LaMem-VLA把历史经验重建成记忆token,塞进推理序列和当前观测一起消费,重新把长程任务的瓶颈定位到「记在哪一层」而非「记多少」。
  • 给机器人当世界模型的视频模型,选物理而非创意:LingBot-Video不复用现成视频模型,而是把DiT视频预训练范式为具身重造,用MoE替换dense,是首个大规模开源的MoE视频基础模型。
  • 交互式世界模型同时跨过无界时长和实时高帧率两道坎——LingBot-World 2.0(Infinity)无界交互不掉画质,蒸馏出的实时变体能以60fps驱动720p视频流,1.3B轻量版单卡可部署。

重点关注

01 机器人 给VLA加记忆,关键不是记多少,而是记在哪一层

LaMem-VLA把历史经验直接重建成latent记忆token,塞进VLA推理的原生embedding序列里,让记忆和当前观测、指令一起被连续消费。这和过去两种主流做法拉开了距离:一种是把观测窗口拉长(硬扛上下文长度),一种是从外部记忆库检索历史再当作策略侧的辅助上下文——两者的记忆都待在推理的latent空间之外,历史经验没法和多模态token真正交织。它的结构是四件套:curator把经验分成短期和长期两个库,seeker用当前的多模态认知去查,condenser把查到的东西压缩成紧凑的记忆token,weaver再把这些token和当前观测拼成一条连续序列。核心主张是记忆应该「原生」参与推理,而不是外挂一个检索模块。方法在SimplerEnv和LIBERO两个仿真环境上验证,作者称效果领先,但摘要没给具体数字,也没有真机结果——长程时序任务的实际收益有多大、四个模块的工程复杂度是否值得,需要看全文和消融才能判断。

长程任务的瓶颈被重新定位——不是记忆容量,而是记忆放在推理链条的哪一层,这个视角本身值得借鉴把历史压成latent token原生注入,是介于「拉长窗口」和「外挂检索」之间的第三条路,做VLA记忆的团队值得对照摘要只报了仿真领先、无具体指标和真机验证,落地价值先按仿真结论看待。

02 视频生成 机器人的世界模型,宁可牺牲创意也要守住物理

拿现成的视频生成模型给机器人做世界先验,有个根子上的错配:这些模型是为内容创作设计的,架构天然优先视觉保真和创意,而不是计算效率和物理合理性——画面漂亮但未必遵守物理。LingBot-Video的做法是不复用、重造:把DiT视频预训练范式专门为具身智能设计,用混合专家(MoE,按需激活部分参数)替换dense结构,在建模容量和推理效率之间找平衡,并从零开始把规模拉起来。数据侧构建了profiling引擎,在普通网络视频里大量掺入机器人操作、导航、第一视角的素材,让base模型内在地理解动作和世界动态;训练侧加了多维奖励,除了美学、指令遵循、运动一致性之外,还显式约束物理合理性和任务完成度。这是首个大规模开源的MoE视频基础模型,路线选择很清楚:给机器人用的世界模型,宁可牺牲一点创意也要守住物理。具体效率和物理指标的提升幅度需要看全文确认,但这个「为具身重造而非复用」的取舍值得做机器人的团队关注。

视频模型做机器人世界先验的核心矛盾是「画得好看」和「符合物理」之间的取舍,这篇明确押物理MoE替换dense让视频基础模型能在扩规模的同时控制推理成本,对实际部署有意义首个开源MoE视频基础模型,做具身智能的团队可以拿来当现成的世界先验起点

03 视频生成 交互式世界模型跨过了两道工程门槛

交互式世界模型过去总卡在两个矛盾的指标上:要么能跑很久但画质越跑越崩,要么画质稳但只能演示几秒。LingBot-World 2.0(也叫Infinity)把这两件事同时做成了——靠一套因果预训练范式实现无界交互时长且输出质量不掉,再蒸馏出一个实时变体,能以60fps驱动720p视频流。能力上也从「能动」升级到「能玩」:攻击、射箭、施法、射击这类动作和文本驱动的事件都进来了,还引入了双agent架构——一个pilot agent规划角色行为,一个director agent负责随场景推进合成新的环境元素。主力14B模型配一个1.3B的轻量版,单卡就能部署,这对做具身仿真或交互式环境的团队意味着可以真正拿来跑长任务,而不只是录demo。

无界交互时长和实时高帧率同时成立,是交互式世界模型从「演示几秒」到「长时间实时跑」的分水岭pilot+director双agent把世界模型从被动生成推向主动导演,值得做仿真环境的人关注1.3B轻量版单卡可部署,降低了自己搭交互世界的门槛
VLA记忆入latent,世界模型60fps跑720p

也值得关注

04
本体感觉不再当孤立向量硬拼,而和视觉token显式对齐 机器人GeoProp把3D运动学grounding到2D特征图上,给通用操作里的状态融合补一层缺失的视觉对应。链接
05
创意领域要的不是直接给最终答案的AI Agent结构设计更需要陪人外化想法、探索备选、打磨半成品方案的交互式系统,而非一步到位的生成器。链接

今日观察

今天靠前的几篇几乎都落在具身智能,但真正值得连起来看的是它们各自站在栈的不同层。同一批人(LingBot系列)同一天放出两块基础设施——一个为具身重造的视频预训练底座(LingBot-Video),一个能实时长跑的交互式世界模型(LingBot-World 2.0)——这是在纵向搭一整条具身的「衬底」;而Dual Latent Memory和GeoProp各自在修策略内部的表示层:前者动的是时序记忆该放进哪个latent空间,后者动的是本体状态怎么和视觉对齐。所以信号不是「机器人今天很热」,而是这个领域正被拆成「造衬底」和「修策略表示」两条线分头推进,且衬底这条已经有人开始按产品线整合了。如果你在做具身,先想清楚自己站在哪一层:要拿别人的衬底(世界模型/视频先验)当起点,就盯LingBot这类整合式产品线的开源进度;要在策略内部做文章,就把这几篇的表示层改动(记忆放哪个latent、本体怎么对齐视觉)单独拎出来做一次对照,别把两条线的收益混在一个实验里评估。