潜空间打分把视频生成压到1-4步

今日概览

  • 视频扩散把「又快又好」当成同一道题解:Reward Lightning让偏好对齐和蒸馏加速共用潜空间backbone联合优化,1到4步出片,VBench平均分提升2.1%。
  • 概念遗忘先选对「最坏提示」再微调:MPSelectTune指出提示形态本身就是影响遗忘鲁棒性的旋钮,只针对最坏提示训练比混合所有提示更守得住。
  • 工业质检走training-free的可验证路线:GLLS用双流in-context把文字标准接地到视觉证据,绕开冷启动没缺陷样本的死结,每个诊断都能追溯。
  • 稀疏视角重建补几何表面短板:用高置信深度加法向先验「以好补差」,在DTU和Tanks-and-Temples上超过此前最好的稀疏视角表面重建方法。

重点关注

01 视频生成 把「又快又好」拆成同一道题来解

Reward Lightning的核心动作,是把偏好对齐和蒸馏加速这两个目标搬进同一个表征空间里一起优化。以往这两件事各做各的:偏好对齐要把生成结果解码回像素、再送进一个像素级奖励模型打分,蒸馏加速却在潜空间做,表征对不上,梯度就打架,改好一个常常把另一个弄坏。

它的第一步是训一个直接在潜空间给视频打分的奖励模型(LRM)——不用把latent解码回像素就能判好坏。这一步的工程含义不小:视频的解码本来就是显存和时间的大头,采样步数越少、batch越大,解码回像素这段代价越是压在训练循环里;把打分挪进潜空间,等于把奖励信号这条链路上最贵的一段砍掉,反过来给少步数训练腾出预算。第二步才是让对抗蒸馏和偏好对齐共用这套backbone联合训练——所谓「同源」(homology),指的是两个目标不再各看各的表征,而是读同一份latent特征、在同一张网络上回传梯度,取舍被摊到一处一起优化,而不是先加速再对齐地串行打补丁、让后一步去擦前一步的屁股。

结果是1到4步就能出片,VBench平均分提升2.1%,LRM的偏好准确率比像素级和潜级基线分别高11%和14.7%——后一个数字某种程度上正是「潜空间打分并不比解码回像素差」的佐证,也是这套省掉解码的做法敢成立的前提。不过摘要只讲了动机和这几个数字,「同时达成」到底把取舍拆得多干净,还得看全文里两个目标在同一空间下有没有新的此消彼长。

偏好对齐与蒸馏加速的梯度冲突,本质是表征空间不匹配——统一到潜空间是条值得试的路子潜空间直接打分省掉解码回像素的开销,对做少步数视频生成的团队有工程价值「鱼和熊掌兼得」的力度先按摘要打个折,2.1%的VBench提升不算大,关键看高强度场景下取舍是否真被拆开。

02 安全对齐 抹掉有害概念,先选对提示再谈遗忘

从预训练模型里抹掉性别偏见、生物武器这类有害概念,一直是个难题:现有的遗忘(unlearning)方法通常只盯着模型权重,却忽略了提示形态的影响——换一种提问方式,被「抹掉」的概念又冒出来了。MPSelectTune换了个切入点:先找出让概念预测准确率最高的那种「最坏提示类型」,专门针对它微调,反而比一股脑用所有提示类型混合训练效果更好。这是个两阶段方法,先用多提示类型的多任务损失微调,再最小化最坏提示的概念准确率。四个基准上主任务准确率比近期基线提升2-15%,最坏情况下的概念准确率最多降17%。对要做安全对齐的团队来说,这提供的不是又一个遗忘算法,而是一个可操作的旋钮:遗忘的鲁棒性得在提示维度上验证,只看平均值会漏掉后门。

提示类型选择本身是影响遗忘效果的旋钮,不只是微调的附属操作针对「最坏提示」训练比混合所有提示更能守住遗忘的鲁棒性评估遗忘效果要看最坏情况提示下的概念准确率,只看平均值会漏掉可被绕过的后门

03 多模态 大模型few-shot很好用,可就是落不进工业质检

大模型的few-shot泛化在demo里很惊艳,但搬到工厂质检就卡住:缺陷太小、图像分辨率有限,更麻烦的是文字标准(「这里不能有划痕」)和模型实际看到的像素对不上,出了判断也说不清依据。GLLS的做法是绕开微调——它是training-free的,不需要早期部署阶段根本收集不到的大量缺陷样本,而是用双流结构做in-context验证:全局逻辑流用SAM 3抽取可核对的视觉事实,局部搜索流用蒙特卡洛树搜索(MCTS)在固定预算内挑选证据区域。它主打的卖点是「可验证」——每个诊断结论都能追溯到具体的视觉证据,而不是模型拍脑袋。对做质检部署的人,真正该盯的不是它又在few-shot benchmark上涨了几个点,而是这条「证据可追溯」的链路在真实产线上能兑现多少——摘要只报告了在MMAD-QA等数据集上稳定优于基线,可解释性的实际价值得看全文的case才能判断。

training-free路线避开了「早期没缺陷样本就没法微调」的死结,适合冷启动部署真正的差异化不是few-shot分数,而是判断能追溯到视觉证据的可验证性这类可解释链路能否在真实产线兑现,需要看具体case而非benchmark数字。

04 图像生成 高置信深度加法向先验,补掉稀疏视角重建的空洞与断裂

从几张照片重建几何表面,最扎眼的毛病是表面上的空洞和断裂:几何线索本就稀疏,加上3DGS(3D高斯泼溅)用的是离散的点,稍不留神就在该连续的地方留下窟窿和裂缝。这篇ECCV工作用「以好补差」来治这两处:先从高置信度区域拿到可靠深度,再用法向先验(表面朝向)把深度信息传播到低置信度区域去约束它,同时用一个针对深度突变的边缘正则项处理离散高斯带来的表面断裂。在DTU和Tanks-and-Temples两个标准数据集上超过了此前最好的稀疏视角表面重建方法。对做3D资产生成、扫描重建的人来说,值得关注的不是又一个novel view合成demo好不好看,而是几何表面这块公认的短板被填了多少——不过具体提升幅度和在真实杂乱场景下的表现,还需要看全文和项目页确认。

稀疏视角下新视角合成已成熟,几何表面重建才是当前真正的短板用高置信区域深度+法向先验去约束低置信区域,是一条「以好补差」的务实路线做3D扫描/资产重建的团队该盯几何质量指标,别被漂亮的渲染demo带偏。
潜空间打分把视频生成压到1-4步

也值得关注

05
Amazon用三模态估热带雨林生物量 AI for Science光学+PolInSAR配保相位Transformer,绕开SAR信号饱和和云层遮挡两个物理难题。链接
06
视频分割改用几何接地跟踪实例 多模态不再靠外观记忆库,跨视角和时间的目标一致性更稳。链接
07
音视频问答用问题引导的三模态注意力 多模态避免深层堆叠自/交叉注意力带来的信息损耗。链接
08
城市级3DGS表面重建 图像生成用视角朝向分区加场景补全,攻大场景复杂几何。链接
09
order-equivariant统一图与sheaf神经网络 模型架构把等变深度学习推广到更丰富的对称结构。链接
10
从2D图像集合自举铰接物体3D重建 图像生成摆脱对人工合成配对数据的依赖。链接
11
条件图像生成想两头兼顾 图像生成既要任务专用性能,又不把丰富条件压成一个标量目标。链接
12
动作与注视同步联合建模 多模态读人类交互意图而非各算各的。链接