今日概览
- 选优化器第一次有了可查的地图:OmniOpt把一百多个方法拆成五阶段meta-pipeline横向对照,发现大多数「新优化器」只改动其中一两步,机制差异被系统性高估。
- Gemma 4来抢自托管默认底座:2.3B到31B、dense与MoE并存、全系列原生多模态,值得按部署位置分档评估——端侧、多模态、激活成本各看一档。
- 游戏世界改由模型一帧帧现场生成,AlayaWorld用视频世界模型自回归合成可玩世界,瞄准替换的是内容生产管线本身,全栈开源。
- RL训练首次贯穿到图像生成步骤:BRAID把交错文图推理建模成MDP,policy gradient不再只走文本步,生成被纳入可被reward塑形的对象。
重点关注
01 训练优化 选优化器这件事,第一次有了一张可查的地图
过去选优化器基本靠两条路径:跟着最新论文追号称SOTA的新方法,或者干脆默认AdamW。OmniOpt没有再造一个「更好的优化器」,而是把选择这件事重新定义成受compute、显存、调参预算和任务多样性联合约束的系统级决策。它的核心手法是把每一次参数更新拆成一个五阶段的meta-pipeline(结构化变换流程),结果发现一百多个方法里大多数只动了其中一两个阶段——换句话说,很多「新优化器」在机制上的差异比论文标题看起来要小。在此基础上,它用范数约束的线性极小化视角把不同方法放到同一套几何坐标里,再配一个横跨语言模型预训练到图像分类的跨域benchmark,把各个方法家族在不同训练目标下的取舍摊开对照。要说清楚局限:survey加benchmark本身不产出新方法,它的价值不在「更快更强」,而在于把一个碎片化、靠口耳相传的领域收拢成一张能查的地图。
原文:OmniOpt: Taxonomy, Geometry, and Benchmarking of Modern Optimizers
02 模型架构 换掉你手里的自托管底座,够格了吗
开源权重的选型问题从来不是「跑分谁高」,而是「哪个能当默认值放进生产」。Gemma 4这次给了一整条线:2.3B到31B,dense和MoE(专家混合,只激活部分参数)两种架构并存,全系列原生多模态还带了个可开关的thinking模式(回答前先生成推理链)。真正值得从业者盯的是三个尺寸区间——最小的2.3B是不是能塞进本地和边缘设备、当端侧默认权重;中间的12B用了无编码器的统一架构、直接吃原始音频和图像patch,省掉一层预处理值不值;而MoE版本的性价比要看激活参数对推理成本的实际影响,不能只看总参数。它对标的是你现在自托管栈里那个「默认底座」的位置,能不能替换掉,得拿自己的场景和延迟预算实测,光看human-rated对齐前沿开源模型这一句还不够。
03 视频生成 游戏世界不再靠人搭,改由模型现场一帧帧生成
游戏世界一直是靠美术、关卡、物理逐块手工搭出来的生产管线,AlayaWorld直接把这套换掉:用视频世界模型自回归合成下一帧观测,条件挂在当前世界状态和用户操作上,于是战斗、施法、召唤怪物都能在线实时生成出来。真正有意思的不是「又生成了一段更长的视频」,而是它瞄准替换的是内容生产这条管线本身——世界不再被作者预先写死,而是随着你的动作一帧帧长出来。这是个全栈开源框架,从数据准备、模型训练到推理加速和部署全都放出来了,还带可复现管线和评测工具。判断它的价值别只看单帧画质,得看两个真门槛:长时程一致性(走远了回头场景还在不在)和交互延迟(按下键到画面响应有多快)。这两条守住了,可玩的生成世界才算立得住,而它选择开源全套,等于把这条赛道的地基公开摆出来了。
原文:AlayaWorld: Long-Horizon and Playable Video World Generation
04 多模态 RL终于训到了图像生成这一步
交错文图推理里藏着一个不对称:只有文本步走policy gradient,图像生成被降级成监督替身,梯度根本传不过整条跨模态轨迹——所谓「用RL训推理」,其实一直没真正训到生成那一步。BRAID把多轮「文本-图像-文本」推理整体建模成一个马尔可夫决策过程,用一个统一的RL目标同时优化文字和图像——算一个轨迹级的advantage,再按各自模态原生的方式分别回传到文本token和图像去噪路径。为了解决长链条的信用分配,它还加了个VLM裁判给每张中间图像的「推理有用性」打分,提供密集的逐轮反馈。空间推理和视觉感知benchmark上稳定超过基线,具体分数意义有限,真正值得记的是:生成这件事第一次被认真纳入了可被reward塑形的对象。
原文:Bridging Interleaved Multi-Modal Reasoning as a Unified Decision Process

也值得关注
今日观察
RL后训练这两年被当成LLM推理的专属工具——优化的是「想得对不对」的那条文本链。今天有三篇同时出现,但它们不在同一个位置:TREK还是经典路数,蒸馏扩探索、RL精修那条文本推理链;真正值得连起来看的是另外两篇。BRAID(2607.03748)让policy gradient第一次贯穿完整的交错文图轨迹,把图像生成步也纳入reward塑形;CONFLUX(2607.02998)在3D医学扩散上做RL后训练,直接对齐结构化的临床条件。把这两篇放一起,信号就清楚了:RL正从「优化文本推理」往「优化生成本身」外溢——被优化的对象从一条思维链,变成扩散/生成管线里那些原本只被监督模仿的步骤。这是个容易被分开归档、其实指向同一扩张方向的点。
如果你手里有生成类管线(图像、视频、3D、结构化合成),别再默认RL只属于文本推理那边。挑一个你现在纯靠监督或人工规则打分的生成环节,试着定义一个轨迹级reward、把它接进后训练——这条路今天刚被两篇不同领域的论文同时验证可行。