Add causal person fusion and MuVAP stage-3 baselines
This commit is contained in:
@@ -231,6 +231,29 @@ ten-horizon mean mAP 配对增量仅为 `+0.01306 +/- 0.02368` 个百分点,
|
||||
residual 最后输出层零初始化,并在 dev 上记录 delta-logit、概率变化和非零梯度;详见
|
||||
[`结果记录`](../results/easycom_track_gru_residual_4ep_2026-09-07/README.md)。
|
||||
|
||||
修正版已实现为 `causal-person-adapter-v2`,但尚无 GPU 结果。它仍从 matched pooled
|
||||
`G+A+V` checkpoint 精确初始化并默认冻结 base;每条当前 track 经共享因果 GRU 后由 G+A
|
||||
query 读取,再与直接 local audio 构成局部 state。模型使用逐样本向量 gate,并仅把最终
|
||||
residual-logit projection 的 weight/bias 置零。这样初始 logits 与 pooled baseline
|
||||
逐元素相同,第一次更新 residual output,后续更新才可进入 GRU、attention 和动态 gate。
|
||||
运行契约与命令见
|
||||
[`easycom_causal_person_adapter_v2.md`](easycom_causal_person_adapter_v2.md)。它保留 pooled V,
|
||||
因此若结果通过,还必须补一个移除 pooled V 的 replacement ablation,才能决定最终方法。
|
||||
|
||||
为减少“GRU 具体写法”这一实验变量,另实现
|
||||
`causal-person-adapter-egospeak-gru`:保留 V2 的所有下游融合与优化设计,只把逐人输入改成
|
||||
EgoSpeak MiniROADA 风格的 `Linear-LN-ReLU-Dropout-GRU-ReLU`。这不是 EgoSpeak 的全局
|
||||
5 Hz RGB+audio GRU 复现,而是人物 track 上的受控 temporal-stem 消融;运行说明见
|
||||
[`easycom_egospeak_style_person_gru.md`](easycom_egospeak_style_person_gru.md)。
|
||||
|
||||
为直接检验“低频 Qwen crop 是否遗漏唇音动态”,另实现独立的
|
||||
`highrate-person-av-attention` 分支。它不把同一张 2 FPS 人脸重复送进 GRU:MuVAP CPC 在
|
||||
25 Hz 上只编码一次 mixed audio 得到共享 `U`,每条人脸轨迹另产生 causal visual state 和
|
||||
一个 AV speaking score,只在每个 5 Hz 右边界保存。随后由 `G+U` query 做集合注意力,并
|
||||
用零初始化 residual 修正已经训练且冻结的 matched `G+U` logits。它首先回答传统高频
|
||||
audio/person 证据能否弥补全局 Omni,而不是检验 identity continuity。实现和命令见
|
||||
[`easycom_highrate_person_av.md`](easycom_highrate_person_av.md)。
|
||||
|
||||
## 8. F4:Person-conditioned audio/Omni history
|
||||
|
||||
F4 让每个匿名人物分别读取已有的 5 Hz 因果历史:
|
||||
|
||||
Reference in New Issue
Block a user