1000 B
1000 B
Attention Bottlenecks for Multimodal Fusion
- 作者：Arsha Nagrani、Shan Yang、Anurag Arnab、Aren Jansen、Cordelia Schmid、Chen Sun
- 发表：NeurIPS 2021
- 阅读深度：重点 bottleneck 方法与融合位置消融
- 记录日期：2026-08-28
- 来源：正式条目、论文
摘要与项目关系
MBT 通过少量共享 latent 单元传递跨模态信息，让各模态保留自身处理路径，同时减少全 token 交互成本。论文比较早、中、晚融合，在 AV 分类数据上进行验证。
可借鉴为逐人 memory 的有限瓶颈和融合层消融，不必让所有帧/所有人物与全部 Thinker token 两两交互。原任务不是流式预测，迁移时必须增加时间可用性 mask。瓶颈是学习式压缩，数量和人物边界是否保留需要消融。