27 lines
1.7 KiB
Markdown
27 lines
1.7 KiB
Markdown
|
# Advancing Active Speaker Detection for Egocentric Videos（EgoASD）
|
|||
|
|
|
|||
|
|
- 作者：Jaesung Huh、Juan Azcarreta Ortiz、Anurag Kumar、Ashutosh Pandey、Ali Aroudi、Daniel D. E. Wong、Francesco Nesta、Buye Xu、Jacob Donley
|
|||
|
|
- 发表：ICASSP 2025
|
|||
|
|
- 阅读深度：摘要、方法贡献和 EasyCom 结果筛选；未运行
|
|||
|
|
- 记录日期：2026-09-07
|
|||
|
|
- 来源：[IEEE Xplore](https://ieeexplore.ieee.org/document/10888166/)、[DOI](https://doi.org/10.1109/ICASSP49660.2025.10888166)
|
|||
|
|
|
|||
|
|
## 摘要与项目关系
|
|||
|
|
|
|||
|
|
该工作针对第一视角视频中快速头动、运动模糊和视觉质量不稳定的问题，提出固定嘴部区域与
|
|||
|
|
motion-blur augmentation，并将它们用于一个轻量、因果的音视频 active speaker detector。
|
|||
|
|
论文报告 EgoASD 在 EasyCom 上比此前结果提高 1.7 个 mAP 点，同时模型规模约小 2.5 倍，
|
|||
|
|
并进一步用于第一视角音视频 diarization。
|
|||
|
|
|
|||
|
|
它直接说明：EasyCom 的逐人视觉分支不能只依赖通用图像语义或稀疏静态人脸 embedding；嘴部
|
|||
|
|
局部运动、短时音唇同步、运动模糊鲁棒性和因果 temporal context 都是更合理的 active-speaker
|
|||
|
|
证据。若本项目最终声称人物视觉 grounding 有效，应把 EgoASD 或同等级 causal ASD feature
|
|||
|
|
作为专用视觉前端基线/候选，而不能只和普通 Qwen face-crop pooling 比较。
|
|||
|
|
|
|||
|
|
## 适用边界
|
|||
|
|
|
|||
|
|
EgoASD 预测画面中候选人物当前是否发声，不预测不可见 wearer 未来是否进入或让出 floor。
|
|||
|
|
因此它可以提供逐人 active-speaker evidence 或 oracle 的可学习替代，但不能直接替代本项目的
|
|||
|
|
wearer floor-action head 和事件级评测。论文报告的 ASD mAP 也不能与本项目 0.2--2.0 秒未来
|
|||
|
|
活动 mAP 直接比较。
|