26 lines
2.7 KiB
Markdown
26 lines
2.7 KiB
Markdown
# MuVAP: Multimodal Multiparty Voice Activity Projection for Turn-taking Prediction in the Wild
|
|
|
|
- 作者：Haotian Qi、Gabriel Skantze
|
|
- 状态：2026 预印本；作者仓库标注 Interspeech 2026，本轮未找到正式 ISCA 条目
|
|
- 阅读深度：重点方法、训练、事件评测及局限章节；VAP/ASD 源码已审计，Stage 3 未公开
|
|
- 核查日期：2026-09-10
|
|
- 来源：[论文](https://arxiv.org/html/2606.16731)、[官方仓库](https://github.com/Haotian-Qi/MuVAP)
|
|
|
|
## 摘要与项目关系
|
|
|
|
将单声道混合音频与逐人脸轨迹结合，先学习声学轮次和因果 ASD 表示，再融合为全局及逐人未来活动预测。用相对发言角色控制多人联合状态空间；任务包含 shift/hold 和 next speaker。是我们逐人时序旁路最直接的相关工作。
|
|
|
|
## 可复用的结构细节
|
|
|
|
MuVAP 不是对多人脸做普通平均。它先用 CPC 与 causal Transformer 得到全局音频 VAP 表示；每条脸轨再经修改后的 causal TalkNet 得到 ASD 表示。两路分别投影到 256 维后，全局音频作为 query、同一时刻的可见人物作为 key/value 做 frame cross-attention，随后用 temporal Transformer 建模群体动态。全局表示再通过 gated addition 调制每个人物表示，并分别输出 GlobalVAP 与 SpeakerVAP。ASD 预训练还包含当前逐人活动辅助损失和音视频对比损失。
|
|
|
|
对本项目最有价值的迁移是“全局 floor query + 匿名人物集合 + 人内因果历史 + 门控残差”，而不是它的 Role-Relative Projection。我们的输出主体始终是不可见 wearer 的 entry/yield，不需要把动态人数展开为 next-visible-speaker 分类。实际批处理可用 padding mask，零人场景加入 NULL/OFFSCREEN token，临时 track ID 只路由共享时序状态而不作为 embedding。
|
|
|
|
不能把“单声道＋逐人视觉＋因果接话”作为独有贡献。我们的区别需要落在不可见 wearer、讲话对象及受召回约束的误开口上，而不是只换编码器。
|
|
|
|
作者承认角色识别存在延迟；验证主要为第三人称双人/三人英语场景。其数据准备使用 RetinaFace/SCRFD 检测、ArcFace 特征、匈牙利匹配，并从每段完整视频随机抽取 50 帧建立全局身份锚点。这适合构建稳定标注，但会使用未来/全片信息，不能作为本项目部署时的严格在线 tracking。论文模型本身宣称 causal，不代表这套数据身份初始化也是可在线运行的。
|
|
|
|
作者仓库现已公开 VAP 和 ASD 的训练代码、CPC/Mimi 前端及对应发布权重；完整 MuVAP
|
|
multiparty Stage 3 仍标注为 `to follow`，没有训练入口。因此项目中的 Stage-3 baseline
|
|
必须称为按论文描述做的 clean-room reconstruction，不能称为官方复现。
|