Record speaker-aware AV research and literature

2026-08-30 15:36:28 +08:00
parent 4abbde4f52
commit 348c5c3343
29 changed files with 907 additions and 6 deletions
@@ -0,0 +1,13 @@
+# Triadic Multi-party Voice Activity Projection for Turn-taking in Spoken Dialogue Systems
+
+- 作者：Mikey Elmers、Koji Inoue、Divesh Lala、Tatsuya Kawahara
+- 发表：Interspeech 2025
+- 阅读深度：重点输入、模型和标签章节
+- 记录日期：2026-08-28
+- 来源：[ISCA](https://www.isca-archive.org/interspeech_2025/elmers25_interspeech.html)、[论文](https://www.isca-archive.org/interspeech_2025/elmers25_interspeech.pdf)
+
+## 摘要与项目关系
+
+将 dyadic VAP 扩展为三人的未来活动预测，通过逐通道表示及跨通道 attention 学习互动，并加入当前活动辅助目标。研究使用三路独立领夹麦克风及既往活动信息。
+
+启发是将多人活动结构作为预测目标，而不是合并为 others 后再学习所有关系。但它不是单声道视觉落地方案，固定人数联合状态也不自动推广到动态人数。我们的 `local.audio` 不能复制三遍就声称复现了该输入条件。