docs: refine person-aware manuscript method
This commit is contained in:
@@ -10,6 +10,12 @@
|
||||
|
||||
将单声道混合音频与逐人脸轨迹结合,先学习声学轮次和因果 ASD 表示,再融合为全局及逐人未来活动预测。用相对发言角色控制多人联合状态空间;任务包含 shift/hold 和 next speaker。是我们逐人时序旁路最直接的相关工作。
|
||||
|
||||
## 可复用的结构细节
|
||||
|
||||
MuVAP 不是对多人脸做普通平均。它先用 CPC 与 causal Transformer 得到全局音频 VAP 表示;每条脸轨再经修改后的 causal TalkNet 得到 ASD 表示。两路分别投影到 256 维后,全局音频作为 query、同一时刻的可见人物作为 key/value 做 frame cross-attention,随后用 temporal Transformer 建模群体动态。全局表示再通过 gated addition 调制每个人物表示,并分别输出 GlobalVAP 与 SpeakerVAP。ASD 预训练还包含当前逐人活动辅助损失和音视频对比损失。
|
||||
|
||||
对本项目最有价值的迁移是“全局 floor query + 匿名人物集合 + 人内因果历史 + 门控残差”,而不是它的 Role-Relative Projection。我们的输出主体始终是不可见 wearer 的 entry/yield,不需要把动态人数展开为 next-visible-speaker 分类。实际批处理可用 padding mask,零人场景加入 NULL/OFFSCREEN token,临时 track ID 只路由共享时序状态而不作为 embedding。
|
||||
|
||||
不能把“单声道+逐人视觉+因果接话”作为独有贡献。我们的区别需要落在不可见 wearer、讲话对象及受召回约束的误开口上,而不是只换编码器。
|
||||
|
||||
作者承认角色识别存在延迟;验证主要为第三人称双人/三人英语场景。数据预处理的全片身份锚点也需与严格在线 tracking 分开讨论。仓库当前只有 README/LICENSE,写明 code coming soon;不要称已有可直接运行的复现。
|
||||
作者承认角色识别存在延迟;验证主要为第三人称双人/三人英语场景。其数据准备使用 RetinaFace/SCRFD 检测、ArcFace 特征、匈牙利匹配,并从每段完整视频随机抽取 50 帧建立全局身份锚点。这适合构建稳定标注,但会使用未来/全片信息,不能作为本项目部署时的严格在线 tracking。论文模型本身宣称 causal,不代表这套数据身份初始化也是可在线运行的。仓库当前只有 README/LICENSE,写明 code coming soon;不要称已有可直接运行的复现。
|
||||
|
||||
Reference in New Issue
Block a user