3B激活参数追平上一代32B

重点关注

01 机器人 3B激活参数追平上一代32B，具身VLM的「高效」这次落到哪了

腾讯放出Hy-Embodied-VLM-1.0，一个面向物理世界的具身基础模型，卖点是「高效」。最实在的一个数字：靠MoE（混合专家）架构只激活3B参数，就逼近上一代激活32B参数的旧模型效果，相比同代的Hy-Embodied-0.5平均提升8.4%，在38个具身benchmark里19个拿到同尺寸最优，压过Qwen3.6-A3B和Cosmos 3。它把能力拆成三层递进的动作导向taxonomy——状态理解、动作转移推理、序列与自适应推理——并据此设计了预训练和后训练的数据流水线，这套方法论比单纯的分数更值得看。但对从业者来说，真正的问题不在它又刷了哪些榜，而在report里「latency-sensitive deployment」那部分到底给没给可复现的端到端数字：摘要里只有benchmark成绩和「高推理效率」的定性说法，没有实测延迟、吞吐或上机部署的硬指标。这类「efficient embodied agent」技术报告最容易在demo好看和真能上机之间留缝，激活参数少不等于端到端延迟低——数据流水线、视觉编码器（Hy-ViT2）和调度都会吃掉预算。要判断它是不是真能部署，得翻全文看它把哪些取舍写清楚了。

原文：Hy-Embodied-VLM-1.0: Efficient Physical-World Agents

02 模型架构 注意力压缩进入「哪里该多花码本」的空间自适应阶段

注意力的O(N²)复杂度一直是transformer的算力瓶颈。向量量化（VQ）注意力的思路是用M个码字（codeword）近似表示所有key，把复杂度压到O(MN)——但它对整个key空间用统一的码本容量。问题在于注意力质量的分布高度不均：真正吸引注意力的区域被粗糙近似，而几乎没人看的区域却占着同样的表达能力。AVQ的做法是按重要性自适应分配：从一小组码字起步，在前向过程中识别出最关键的码，再用预训练好的子码字细化它们，让精细量化只发生在该发生的地方。作者还用定制Triton kernel把整套自适应细化塞进了Flash Attention的分块计算里，保持O(MN)复杂度的同时开销很小——这一步的工程完整度决定了它能不能真正落地，需要看全文的实测数据确认。

原文：AVQ-Attention: Adaptive Vector-Quantized Attention

03 推理加速 基础模型下沉到手机，代价是掉了多少精度？

SAM2这类视频基础大模型能「分割一切」，但手机、笔记本跑不动，把它压到端侧几乎是必经之路。MobileSAM2用了一个叫HyperKD的蒸馏方法——把老师模型的时序知识和多粒度知识建成超图（一种能表达高阶关系的图结构），再对齐到轻量学生模型上，思路是漂亮的。但摘要里最关键的数字缺席了：它只说「promising generalization」，没给出掉了多少精度、换来多少速度这个决定成败的比值。对做端侧感知、具身AI的团队来说，方法值得留意，但能不能真用上得看全文的量化对比——尤其是在视频这种时序任务上，轻量模型最容易崩的地方。ECCV接收说明工作扎实，但「扎实」和「能上线」是两回事。

原文：MobileSAM2: Lightweight Segment Anything for Spatial Intelligence

04 评测 你算出来的准确率，可能被答案长度悄悄扭曲了

多选题benchmark常用一个看似中立的做法：把每个候选答案的条件log-prob（逐token的对数概率之和）排个序，选概率最高的。问题是log-prob是逐token累加的，token越多累加的惩罚越重，长答案天然吃亏。业界的标准补救是「按长度归一化」，但这篇ICML论文用实验说明它经常矫枉过正——归一化之后反而偏向长答案，只是把偏置换了个方向。作者提出的贝叶斯准确率（Bayesian accuracy）给答案长度加一个显式先验，算后验概率来消掉线性的长度效应，好处是即插即用、不需要额外的前向计算。他们在多个benchmark和few-shot设置下都测到比前两种方法更低的长度偏置，但这类「更公平」的结论要具体看你评的任务里答案长度分布有多分散，分布越窄影响越小。

原文：Accuracy and Normalized Accuracy under Length Bias: Analysis, Guidelines, and a Bayesian Alternative