20 lines
1.2 KiB
Markdown
20 lines
1.2 KiB
Markdown
|
# Egocentric Deep Multi-Channel Audio-Visual Active Speaker Localization
|
||
|
|
|
||
|
|
- 作者：Hao Jiang、Calvin Murdock、Vamsi Krishna Ithapu
|
||
|
|
- 会议：CVPR 2022
|
||
|
|
- 阅读深度：摘要及引言筛选
|
||
|
|
- 记录日期：2026-08-27
|
||
|
|
- 官方来源：[CVF 论文页](https://openaccess.thecvf.com/content/CVPR2022/html/Jiang_Egocentric_Deep_Multi-Channel_Audio-Visual_Active_Speaker_Localization_CVPR_2022_paper.html)
|
||
|
|
|
||
|
|
## 摘要（中文转述）
|
||
|
|
|
||
|
|
该工作联合第一视角视频与多通道麦克风阵列音频，检测佩戴者及周围人的语音活动并定位活跃说话人。模型考虑头部运动、遮挡、噪声与画外声源，在整个空间方向上定位讲话者，同时预测佩戴者自己的活动，面向真实增强现实设备的实时感知。
|
||
|
|
|
||
|
|
## 与当前项目的关系
|
||
|
|
|
||
|
|
它表明多人 AV 建模不能只关注画面里的一张脸，应区分佩戴者、可见参与者与画外声源。其任务是当前活动检测/定位，不是预测未来接话。
|
||
|
|
|
||
|
|
## 适用边界
|
||
|
|
|
||
|
|
原作利用多通道空间信息。我们的 mono/混合音轨不能凭空恢复同等阵列线索；EasyCom 多通道扩展需与当前输入设定分开报告。人脸分支应保留不可见声源通道，不能把“没有可见人讲话”直接判为 silence。
|