机器之心发布

机器之心编辑部

在机器人和具身智能领域，transformer 模型正变大越来越通用，同时也越来越 「重」。我们在渴望 SOTA 精度，但现实世界的边缘设备 (如机器人端场景) 却无法承受其高昂的计算和延迟。

论文地址：https://arxiv.org/pdf/2511.15580v3

「Efficient AI」的核心挑战之一是：模型是否真的需要处理所有输入数据

由东南大学、中南大学、明略科技（2718.HK）联合提出的一篇被 AAAI 2026 接收为 Oral 的论文 CompTrack 给出了一个深刻的答案。这项工作展示了压缩技术如何大幅降低计算开销，同时保持或甚至提升模型性能，以 3D 点云跟踪作为一个引人注目的应用案例。

具体而言，该工作一针见血地指出，当前 AI 模型（尤其在处理稀疏数据如点云时）普遍面临「双重冗余」（Dual-Redundancy）挑战：

空间冗余 (Spatial Redundancy)：海量的、无关的背景点和空白区域（如天空、远处的建筑物）被送入网络，这不仅浪费算力，更污染了特征，导致精度下降。信息冗余 (Informational Redundancy)这一点更为致命且常被忽视。即便是在我们真正关心的「前景目标」上，也充斥着大量重复和低价值的信息。例如，在识别一辆车时，车辆引擎盖上的 100 个点和 500 个点提供的有效几何信息几乎是等价的；而车轮、边角等关键点的价值则远高于这些平坦表面。

现有方法大多只处理了问题 1（过滤背景），却对问题 2（压缩前景）束手无策。CompTrack 创新性地提出了一个端到端框架，从根本上同时解决这两种冗余

核心洞察（一）：用「信息熵」过滤空间冗余

针对空间冗余，CompTrack 采用了一个空间前景预测器 (SFP)。SFP 是一个轻量级模块，它基于信息熵理论，通过一个高斯热图监督学习，精准地「筛除」那些信息含量极低、对任务无益的背景噪声。这一步为后续的精准压缩奠定了坚实基础。

核心洞察（二）：用「信息瓶颈」动态压缩信息冗余

这篇工作最核心的贡献，是其信息瓶颈引导的动态令牌压缩 (IB-DTC)模块，它专为解决「前景信息冗余」而设计。

为什么这个模块是 Efficient AI 的一次重要探索？

1. 理论完备，告别盲目压缩：该模块的构建基于坚实的「信息瓶颈 (IB)」原理。其目标非常明确：只保留那些对最终预测（如目标运动）有价值的信息，并丢弃所有不相关的冗余信息。它进一步证明，这种信息冗余在数学上等价于特征矩阵的 「低秩 (Low-Rank)」特性。

2. SVD 指导，实现「动态」压缩：IB-DTC 最精妙的设计在于其动态性。它没有使用一个固定的、「一刀切」的压缩率，而是利用在线奇异值分解 (SVD)，在推理时（on-the-fly）实时分析当前输入前景数据的「内在秩 (intrinsic rank)」。这意味着：

如果前景简单（如一辆侧面的卡车），模型自动使用高压缩率。如果前景复杂（如一个骑行者），模型自动使用低压缩率。这种数据依赖的动态压缩，在保留关键信息的同时，最大化了计算效率。

3. 绕过 SVD，实现「端到端」训练：SVD 本身是不可微分的，无法直接用于训练。CompTrack 巧妙地将其用作一个「引导者」：SVD 只负责在前向传播时提供最优的压缩率 K 和特征基（prior），而真正的压缩则由一个可学习的、基于 K 的 Cross-Attention 模块完成 。这使得整个高效压缩流程可以端到端训练。

应用成效：更少算力，更高精度！

CompTrack 将该框架应用于极具挑战性的 3D 点云跟踪任务。结果证明，这种对「信息冗余」的系统性压缩是极其高效的：

速度：在 RTX 3090 上达到80 FPS的实时性能，相比 SOTA 方法 (P2P) 65 FPS 的速度，实现了 1.3 倍的加速效率：计算量（FLOPs）显著降低，仅为0.94G。消融实验证实，IB-DTC 模块是实现效率飞跃（从 48 FPS 提升至 75 FPS）的核心。精度：在实现极致效率的同时，CompTrack 在 nuScenes 和 Waymo 两个大规模数据集上均刷新了 SOTA（State-of-the-art）性能

CompTrack 的意义远不止于 3D 跟踪。它提供了一个「理论指导、动态自适应、端到端」的通用信息压缩范式。

该工作证明了，与其盲目地让 Transformer 处理所有数据，不如先问一个更基本的问题：「哪些信息是真正有价值的？」。CompTrack 的技术预示着高效 AI 的更广泛范式转变。其动态、SVD 引导的压缩易于适应其他涉及稀疏或冗余数据的领域，如机器人中的传感器融合，甚至视觉 - 语言模型中的多模态处理。通过优先考虑信息效率而非蛮力计算，CompTrack 也为后续解决视频理解、多模态融合乃至大模型推理中的信息冗余问题，提供了极具前景的新思路。

这正是 Efficient AI 未来的发展方向：不做无效计算，只为价值付费