16 lines
1.2 KiB
Markdown
16 lines
1.2 KiB
Markdown
|
# MuVAP: Multimodal Multiparty Voice Activity Projection for Turn-taking Prediction in the Wild
|
||
|
|
|
||
|
|
- 作者：Haotian Qi、Gabriel Skantze
|
||
|
|
- 状态：2026 预印本；作者仓库标注 Interspeech 2026，本轮未找到正式 ISCA 条目
|
||
|
|
- 阅读深度：重点方法、训练、事件评测及局限章节；未运行
|
||
|
|
- 核查日期：2026-08-28
|
||
|
|
- 来源：[论文](https://arxiv.org/html/2606.16731)、[官方仓库](https://github.com/Haotian-Qi/MuVAP)
|
||
|
|
|
||
|
|
## 摘要与项目关系
|
||
|
|
|
||
|
|
将单声道混合音频与逐人脸轨迹结合，先学习声学轮次和因果 ASD 表示，再融合为全局及逐人未来活动预测。用相对发言角色控制多人联合状态空间；任务包含 shift/hold 和 next speaker。是我们逐人时序旁路最直接的相关工作。
|
||
|
|
|
||
|
|
不能把“单声道＋逐人视觉＋因果接话”作为独有贡献。我们的区别需要落在不可见 wearer、讲话对象及受召回约束的误开口上，而不是只换编码器。
|
||
|
|
|
||
|
|
作者承认角色识别存在延迟；验证主要为第三人称双人/三人英语场景。数据预处理的全片身份锚点也需与严格在线 tracking 分开讨论。仓库当前只有 README/LICENSE，写明 code coming soon；不要称已有可直接运行的复现。
|