27 lines
1.7 KiB
Markdown
27 lines
1.7 KiB
Markdown
# Advancing Active Speaker Detection for Egocentric Videos（EgoASD）
|
||
|
||
- 作者：Jaesung Huh、Juan Azcarreta Ortiz、Anurag Kumar、Ashutosh Pandey、Ali Aroudi、Daniel D. E. Wong、Francesco Nesta、Buye Xu、Jacob Donley
|
||
- 发表：ICASSP 2025
|
||
- 阅读深度：摘要、方法贡献和 EasyCom 结果筛选；未运行
|
||
- 记录日期：2026-09-07
|
||
- 来源：[IEEE Xplore](https://ieeexplore.ieee.org/document/10888166/)、[DOI](https://doi.org/10.1109/ICASSP49660.2025.10888166)
|
||
|
||
## 摘要与项目关系
|
||
|
||
该工作针对第一视角视频中快速头动、运动模糊和视觉质量不稳定的问题，提出固定嘴部区域与
|
||
motion-blur augmentation，并将它们用于一个轻量、因果的音视频 active speaker detector。
|
||
论文报告 EgoASD 在 EasyCom 上比此前结果提高 1.7 个 mAP 点，同时模型规模约小 2.5 倍，
|
||
并进一步用于第一视角音视频 diarization。
|
||
|
||
它直接说明：EasyCom 的逐人视觉分支不能只依赖通用图像语义或稀疏静态人脸 embedding；嘴部
|
||
局部运动、短时音唇同步、运动模糊鲁棒性和因果 temporal context 都是更合理的 active-speaker
|
||
证据。若本项目最终声称人物视觉 grounding 有效，应把 EgoASD 或同等级 causal ASD feature
|
||
作为专用视觉前端基线/候选，而不能只和普通 Qwen face-crop pooling 比较。
|
||
|
||
## 适用边界
|
||
|
||
EgoASD 预测画面中候选人物当前是否发声，不预测不可见 wearer 未来是否进入或让出 floor。
|
||
因此它可以提供逐人 active-speaker evidence 或 oracle 的可学习替代，但不能直接替代本项目的
|
||
wearer floor-action head 和事件级评测。论文报告的 ASD mAP 也不能与本项目 0.2--2.0 秒未来
|
||
活动 mAP 直接比较。
|