1.9 KiB
1.9 KiB
Speaker Embedding Informed Audiovisual Active Speaker Detection for Egocentric Recordings
- 作者：Jason Clarke、Yoshihiko Gotoh、Stefan Goetze
- 发表：ICASSP 2025
- 阅读深度：摘要、方法和实验设置重点阅读；未运行
- 记录日期：2026-09-07
- 来源：IEEE Xplore、arXiv、作者公开论文
摘要与项目关系
该工作研究第一视角场景中候选人物的音视频 active speaker detection。作者提出 Speaker Comparison Auxiliary Network（SCAN）：除候选人的参考语音 embedding 外，还从当前混合 音频的滑动窗口提取 speaker embedding，再通过 cross-attention 比较当前声音和已登记身份。 论文同时提出自监督的 video face recognition 调优方法，用于构建更稳健的 face--speaker 身份库。SCAN 接入 TalkNet 和 Light-ASD 后，在 Ego4D-AVD 上分别报告 14.5% 和 10.3% 的 相对 mAP 提升。
它说明显式 speaker reference/identity memory 在视觉遮挡或嘴部线索不可用时已有明确先例。 因此本项目不应把“用 track identity 帮助音视频说话者判断”本身作为 novelty。更合适的限定是： 人物轨迹保持匿名，不依赖预登记语音或长期身份库，只使用截止当前时刻可获得的因果轨迹， 目标是预测不可见 wearer 的未来 entry/yield 行为。
适用边界
SCAN 需要候选人的预分离参考语音并建立 face--speaker library；这与本项目计划的在线、匿名、 无 enrollment 场景不同。它仍然做当前逐人物 ASD，不评估 wearer 的未来错误开口、响应延迟 或 yield。若以后引入 speaker embedding，必须单列 enrollment 依赖，并确保参考语音只来自 预测截止时间之前，不能从整段视频或测试片段未来部分建立身份库。