14 lines
1000 B
Markdown
14 lines
1000 B
Markdown
|
# Attention Bottlenecks for Multimodal Fusion
|
||
|
|
|
||
|
|
- 作者：Arsha Nagrani、Shan Yang、Anurag Arnab、Aren Jansen、Cordelia Schmid、Chen Sun
|
||
|
|
- 发表：NeurIPS 2021
|
||
|
|
- 阅读深度：重点 bottleneck 方法与融合位置消融
|
||
|
|
- 记录日期：2026-08-28
|
||
|
|
- 来源：[正式条目](https://proceedings.neurips.cc/paper/2021/hash/76ba9f564ebbc35b1014ac498fafadd0-Abstract.html)、[论文](https://proceedings.neurips.cc/paper/2021/file/76ba9f564ebbc35b1014ac498fafadd0-Paper.pdf)
|
||
|
|
|
||
|
|
## 摘要与项目关系
|
||
|
|
|
||
|
|
MBT 通过少量共享 latent 单元传递跨模态信息，让各模态保留自身处理路径，同时减少全 token 交互成本。论文比较早、中、晚融合，在 AV 分类数据上进行验证。
|
||
|
|
|
||
|
|
可借鉴为逐人 memory 的有限瓶颈和融合层消融，不必让所有帧/所有人物与全部 Thinker token 两两交互。原任务不是流式预测，迁移时必须增加时间可用性 mask。瓶颈是学习式压缩，数量和人物边界是否保留需要消融。
|