Add causal person fusion and MuVAP stage-3 baselines

This commit is contained in:
Xin Wang
2026-09-10 06:54:22 +08:00
parent 0534c9d3d0
commit d426b4740a
225 changed files with 27716 additions and 119 deletions
+7
View File
@@ -25,3 +25,10 @@ step(25.6 秒)、stride 4、2048D embedding、1024D hidden 和 10 个 future
匿名人物轨迹之间共享,并用零门控残差修正 matched pooled Omni head。官方实现仍应作为
单独的 sequence-GRU 强基线;逐人 track continuity 是否有效,需要 broken-ID/no-ID 控制
而不能由架构名称推断。
为控制逐人时序 stem 的实现差异,项目另提供
`causal-person-adapter-egospeak-gru`。它仅采用 MiniROADA 的
`Linear-LayerNorm-ReLU-Dropout-GRU-ReLU` 层序,仍处理逐人视觉 track,并保留 V2 的
G+A query、人物集合注意力、动态 gate 和 pooled residual base。因此实验中必须称为
**EgoSpeak-style per-track GRU**,不能称为 EgoSpeak/MiniROADA 复现。真正的官方
sequence-GRU baseline 仍需单独实现全局 5 Hz 序列和 anticipation decoder。