Record speaker-aware AV research and literature

2026-08-30 15:36:28 +08:00
parent 4abbde4f52
commit 348c5c3343
29 changed files with 907 additions and 6 deletions
@@ -0,0 +1,13 @@
+# Gaze-Enhanced Multimodal Turn-Taking Prediction in Triadic Conversations
+
+- 作者：Seongsil Heo、Christi Miller、Calvin Murdock、Michael Proulx
+- 发表：Interspeech 2025
+- 阅读深度：重点输入、ConvLSTM/user attention、评测章节
+- 记录日期：2026-08-28
+- 来源：[ISCA](https://www.isca-archive.org/interspeech_2025/heo25_interspeech.html)、[论文](https://www.isca-archive.org/interspeech_2025/heo25_interspeech.pdf)
+
+## 摘要与项目关系
+
+以 gaze、发声位置和 VAD 构建单人表示，再通过跨用户注意力建模三人交互。提供视觉方向与说话角色相关的证据，但使用 Aria 眼动、多通道音频及头运动，而非我们的视频混合单声道。
+
+其 transition-level 评测包含转变后 1s，不能据此宣称已经实现提前 200ms 开口预测。我们可以借鉴逐人时序结构；不能把视频头朝向估计等同于眼动仪真值，也不能把角色识别指标与未来 onset AP 混用。