1.1 KiB
1.1 KiB
LoCoNet: Long-Short Context Network for Active Speaker Detection
- 作者：Xizi Wang、Feng Cheng、Gedas Bertasius、David Crandall
- 发表：CVPR 2024
- 阅读深度：重点方法、训练、Ego4D 实验与代码说明；未运行
- 记录日期：2026-08-28
- 来源：论文、CVF 论文、官方代码
摘要与项目关系
用较长人物内时序建模和较短跨人物互动建模识别正在发声的人，在包含 Ego4D 的 ASD 数据上验证。提供训练代码和 AVA 预训练权重链接，可作为专门 AV 表征路线。
原方法对整段序列输出活动，不能直接视为因果未来预测。迁移需检查 temporal convolution、attention 和帧窗口，再训练/评测 causal 版本；不得将包含未来的离线特征接到因果 head。优先借鉴“人内时间＋人际交互”的分解，而非将相同混合音频重复后称为独立音源。