Record speaker-aware AV research and literature

2026-08-30 15:36:28 +08:00
parent 4abbde4f52
commit 348c5c3343
29 changed files with 907 additions and 6 deletions
@@ -0,0 +1,13 @@
+# Visual Cues Support Robust Turn-taking Prediction in Noise
+
+- 作者：Sam O’Connor Russell、Naomi Harte
+- 发表：Interspeech 2025
+- 阅读深度：重点输入、噪声实验及局限章节
+- 记录日期：2026-08-28
+- 来源：[ISCA](https://www.isca-archive.org/interspeech_2025/oconnorrussell25_interspeech.html)、[论文](https://www.isca-archive.org/interspeech_2025/oconnorrussell25_interspeech.pdf)
+
+## 摘要与项目关系
+
+研究预测式轮次模型对噪声的脆弱性，显示噪声训练能帮助多模态模型利用视觉，但对未知噪声和不准转写的泛化有限。视觉特征包括脸部动作、gaze、头姿等；数据为双人视频会议和逐人音轨。
+
+我们可增加自然重叠、低信噪比、人物可见性分层，避免只看总体 AP；噪声增强应独立于正常社交互动主实验。其双路音频与对齐标注条件不等于 EasyCom 当前的单路混合输入。人为错配视觉导致下降也可能只是分布外错误，不能单独证明社会关系理解。