1.0 KiB
1.0 KiB
Vision Transformers Are Parameter-Efficient Audio-Visual Learners
- 作者：Yan-Bo Lin、Yi-Lin Sung、Jie Lei、Mohit Bansal、Gedas Bertasius
- 发表：CVPR 2023
- 阅读深度：方法段落及官方项目说明；未运行
- 记录日期：2026-08-28
- 来源：CVF、项目页
摘要与项目关系
LAVISH 在冻结 ViT 中插入可训练 latent AV adapter，通过少量 token 压缩和双向跨模态交换实现高效迁移。任务包含 AV 事件等，不要求重新大规模预训练全部模型。
支持“小型跨模态连接也值得训练”的方案。这里冻结的是 ViT，而非 Qwen Thinker；将其思想用于现有 Omni 必须重新实现接口和时序限制。若 adapter 位于 encoder 内部，原先冻结 encoder 的离线特征不再有效，不能一边改 encoder 一边复用旧输出。