Record speaker-aware AV research and literature

2026-08-30 15:36:28 +08:00
parent 4abbde4f52
commit 348c5c3343
29 changed files with 907 additions and 6 deletions
@@ -0,0 +1,13 @@
+# Attention Bottlenecks for Multimodal Fusion
+
+- 作者：Arsha Nagrani、Shan Yang、Anurag Arnab、Aren Jansen、Cordelia Schmid、Chen Sun
+- 发表：NeurIPS 2021
+- 阅读深度：重点 bottleneck 方法与融合位置消融
+- 记录日期：2026-08-28
+- 来源：[正式条目](https://proceedings.neurips.cc/paper/2021/hash/76ba9f564ebbc35b1014ac498fafadd0-Abstract.html)、[论文](https://proceedings.neurips.cc/paper/2021/file/76ba9f564ebbc35b1014ac498fafadd0-Paper.pdf)
+
+## 摘要与项目关系
+
+MBT 通过少量共享 latent 单元传递跨模态信息，让各模态保留自身处理路径，同时减少全 token 交互成本。论文比较早、中、晚融合，在 AV 分类数据上进行验证。
+
+可借鉴为逐人 memory 的有限瓶颈和融合层消融，不必让所有帧/所有人物与全部 Thinker token 两两交互。原任务不是流式预测，迁移时必须增加时间可用性 mask。瓶颈是学习式压缩，数量和人物边界是否保留需要消融。