1.1 KiB
1.1 KiB
Whisper-Flamingo: Integrating Visual Features into Whisper for Audio-Visual Speech Recognition and Translation
- 第一作者：Andrew Rouditchenko
- 发表：Interspeech 2024
- 阅读深度：重点方法、融合消融与官方仓库说明；未运行
- 记录日期：2026-08-28
- 来源：ISCA、论文、代码
摘要与项目关系
将 AV-HuBERT 视觉特征通过门控 cross-attention 融入 Whisper decoder，在噪声条件改善语音识别和翻译。门控从零开始，初始新增层为恒等变换；适配阶段保留强音频模型。
这是“内部学习视觉增量”的直接结构参考，比直接修改冻结 hidden state 更有训练依据。但原版不是流式接话模型，也不是自动不退化保证；仍需按可用前缀限制视频/音频。我们优先试少量上层或临时 readout query 的 adapter，不照搬每层宽 cross-attention 的参数开销。