14 lines
980 B
Markdown
14 lines
980 B
Markdown
|
# Gaze-Enhanced Multimodal Turn-Taking Prediction in Triadic Conversations
|
||
|
|
|
||
|
|
- 作者：Seongsil Heo、Christi Miller、Calvin Murdock、Michael Proulx
|
||
|
|
- 发表：Interspeech 2025
|
||
|
|
- 阅读深度：重点输入、ConvLSTM/user attention、评测章节
|
||
|
|
- 记录日期：2026-08-28
|
||
|
|
- 来源：[ISCA](https://www.isca-archive.org/interspeech_2025/heo25_interspeech.html)、[论文](https://www.isca-archive.org/interspeech_2025/heo25_interspeech.pdf)
|
||
|
|
|
||
|
|
## 摘要与项目关系
|
||
|
|
|
||
|
|
以 gaze、发声位置和 VAD 构建单人表示，再通过跨用户注意力建模三人交互。提供视觉方向与说话角色相关的证据，但使用 Aria 眼动、多通道音频及头运动，而非我们的视频混合单声道。
|
||
|
|
|
||
|
|
其 transition-level 评测包含转变后 1s，不能据此宣称已经实现提前 200ms 开口预测。我们可以借鉴逐人时序结构；不能把视频头朝向估计等同于眼动仪真值，也不能把角色识别指标与未来 onset AP 混用。
|