1.0 KiB
1.0 KiB
Visual Cues Support Robust Turn-taking Prediction in Noise
- 作者：Sam O’Connor Russell、Naomi Harte
- 发表：Interspeech 2025
- 阅读深度：重点输入、噪声实验及局限章节
- 记录日期：2026-08-28
- 来源：ISCA、论文
摘要与项目关系
研究预测式轮次模型对噪声的脆弱性，显示噪声训练能帮助多模态模型利用视觉，但对未知噪声和不准转写的泛化有限。视觉特征包括脸部动作、gaze、头姿等；数据为双人视频会议和逐人音轨。
我们可增加自然重叠、低信噪比、人物可见性分层，避免只看总体 AP；噪声增强应独立于正常社交互动主实验。其双路音频与对齐标注条件不等于 EasyCom 当前的单路混合输入。人为错配视觉导致下降也可能只是分布外错误，不能单独证明社会关系理解。