Add causal person fusion and MuVAP stage-3 baselines

This commit is contained in:
Xin Wang
2026-09-10 06:54:22 +08:00
parent 0534c9d3d0
commit d426b4740a
225 changed files with 27716 additions and 119 deletions
+7 -3
View File
@@ -2,8 +2,8 @@
- 作者:Haotian Qi、Gabriel Skantze
- 状态:2026 预印本;作者仓库标注 Interspeech 2026,本轮未找到正式 ISCA 条目
- 阅读深度:重点方法、训练、事件评测及局限章节;未运行
- 核查日期:2026-08-28
- 阅读深度:重点方法、训练、事件评测及局限章节;VAP/ASD 源码已审计,Stage 3 未公开
- 核查日期:2026-09-10
- 来源:[论文](https://arxiv.org/html/2606.16731)、[官方仓库](https://github.com/Haotian-Qi/MuVAP)
## 摘要与项目关系
@@ -18,4 +18,8 @@ MuVAP 不是对多人脸做普通平均。它先用 CPC 与 causal Transformer
不能把“单声道+逐人视觉+因果接话”作为独有贡献。我们的区别需要落在不可见 wearer、讲话对象及受召回约束的误开口上,而不是只换编码器。
作者承认角色识别存在延迟;验证主要为第三人称双人/三人英语场景。其数据准备使用 RetinaFace/SCRFD 检测、ArcFace 特征、匈牙利匹配,并从每段完整视频随机抽取 50 帧建立全局身份锚点。这适合构建稳定标注,但会使用未来/全片信息,不能作为本项目部署时的严格在线 tracking。论文模型本身宣称 causal,不代表这套数据身份初始化也是可在线运行的。仓库当前只有 README/LICENSE,写明 code coming soon;不要称已有可直接运行的复现。
作者承认角色识别存在延迟;验证主要为第三人称双人/三人英语场景。其数据准备使用 RetinaFace/SCRFD 检测、ArcFace 特征、匈牙利匹配,并从每段完整视频随机抽取 50 帧建立全局身份锚点。这适合构建稳定标注,但会使用未来/全片信息,不能作为本项目部署时的严格在线 tracking。论文模型本身宣称 causal,不代表这套数据身份初始化也是可在线运行的。
作者仓库现已公开 VAP 和 ASD 的训练代码、CPC/Mimi 前端及对应发布权重;完整 MuVAP
multiparty Stage 3 仍标注为 `to follow`,没有训练入口。因此项目中的 Stage-3 baseline
必须称为按论文描述做的 clean-room reconstruction,不能称为官方复现。