Add causal oracle person information screen
This commit is contained in:
@@ -0,0 +1,28 @@
|
||||
# Speaker Embedding Informed Audiovisual Active Speaker Detection for Egocentric Recordings
|
||||
|
||||
- 作者:Jason Clarke、Yoshihiko Gotoh、Stefan Goetze
|
||||
- 发表:ICASSP 2025
|
||||
- 阅读深度:摘要、方法和实验设置重点阅读;未运行
|
||||
- 记录日期:2026-09-07
|
||||
- 来源:[IEEE Xplore](https://ieeexplore.ieee.org/document/10890414/)、[arXiv](https://arxiv.org/abs/2502.06012)、[作者公开论文](https://eprints.whiterose.ac.uk/id/eprint/223485/1/Jason_ICASSP_2025.pdf)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
该工作研究第一视角场景中候选人物的音视频 active speaker detection。作者提出 Speaker
|
||||
Comparison Auxiliary Network(SCAN):除候选人的参考语音 embedding 外,还从当前混合
|
||||
音频的滑动窗口提取 speaker embedding,再通过 cross-attention 比较当前声音和已登记身份。
|
||||
论文同时提出自监督的 video face recognition 调优方法,用于构建更稳健的 face--speaker
|
||||
身份库。SCAN 接入 TalkNet 和 Light-ASD 后,在 Ego4D-AVD 上分别报告 14.5% 和 10.3% 的
|
||||
相对 mAP 提升。
|
||||
|
||||
它说明显式 speaker reference/identity memory 在视觉遮挡或嘴部线索不可用时已有明确先例。
|
||||
因此本项目不应把“用 track identity 帮助音视频说话者判断”本身作为 novelty。更合适的限定是:
|
||||
人物轨迹保持匿名,不依赖预登记语音或长期身份库,只使用截止当前时刻可获得的因果轨迹,
|
||||
目标是预测不可见 wearer 的未来 entry/yield 行为。
|
||||
|
||||
## 适用边界
|
||||
|
||||
SCAN 需要候选人的预分离参考语音并建立 face--speaker library;这与本项目计划的在线、匿名、
|
||||
无 enrollment 场景不同。它仍然做当前逐人物 ASD,不评估 wearer 的未来错误开口、响应延迟
|
||||
或 yield。若以后引入 speaker embedding,必须单列 enrollment 依赖,并确保参考语音只来自
|
||||
预测截止时间之前,不能从整段视频或测试片段未来部分建立身份库。
|
||||
Reference in New Issue
Block a user