Add causal person track GRU residual experiment
This commit is contained in:
@@ -21,11 +21,14 @@
|
||||
融合实验从 F1 Frame-set Attention 开始。后续模块只有在前一级通过预先定义的 gate 后
|
||||
才实施。
|
||||
|
||||
实现状态(2026-09-02):F1 的 loader、head、train/infer 路径和回归测试已经加入代码,
|
||||
但尚未在远程 PyTorch/L20 环境完成 runtime smoke,不能写成已验证结果。另加入两个仅用
|
||||
实现状态(更新于 2026-09-07):F1 已完成三 seed、四 epoch 的远程筛选,得到
|
||||
`81.77745 +/- 0.15638` 的 0.2 秒 mAP 和 `64.95099 +/- 0.09451` 的十 horizon mean
|
||||
mAP。它表现稳定,但与旧 pooled 结果的 split/dev 协议并不匹配,而且尚无 correct/wrong
|
||||
视觉控制,因此不能写成注意力优于 pooling。另加入两个仅用
|
||||
当前 sidecar 的 F5/F6 **screening** 模式:`audio-person-frame-set` 和
|
||||
`gated-person-state-adapter`。前者没有 F4 人物历史,后者位于 Thinker readout 之后;二者
|
||||
都不能写成完整 F5/F6。F2--F4、真正的 F5/F6 和 D1 仍然只是计划。
|
||||
都不能写成完整 F5/F6。第一版 F3 `track-gru-residual` 已实现但尚待远程运行;F2、F4、
|
||||
真正的 F5/F6 和 D1 仍然只是计划。
|
||||
|
||||
## 2. 不可改变的实验条件
|
||||
|
||||
@@ -193,6 +196,14 @@ floor-action 结果。
|
||||
对照包括 frame-set、无 ID temporal pool、正确 track、打断连续性的 track 以及 past-shift。
|
||||
正确 track 必须优于无 ID 和打断 track,才能说明身份连续性有价值。
|
||||
|
||||
第一版实现为 `track-gru-residual`。它没有直接替换 pooled 头,而是从同 seed、同 split、
|
||||
同 local contract 的 `G+A+pooled-V` checkpoint 精确复制并默认冻结 base path,再增加共享
|
||||
track GRU、G+A 对 track states 的 masked attention 以及零初始化 scalar gate。这样训练
|
||||
开始前 logits 与 pooled baseline 逐元素相同,空人物时 correction 恒为零,实验首先回答
|
||||
“track continuity 是否提供增量信息”,而不会把随机重训 base 的波动误当作 GRU 收益。
|
||||
实现、契约和命令见
|
||||
[`easycom_track_gru_residual.md`](easycom_track_gru_residual.md)。
|
||||
|
||||
## 8. F4:Person-conditioned audio/Omni history
|
||||
|
||||
F4 让每个匿名人物分别读取已有的 5 Hz 因果历史:
|
||||
@@ -268,11 +279,11 @@ README 必须写明 split、seed、checkpoint、输入特征版本、评测协
|
||||
|
||||
## 12. 最近执行顺序
|
||||
|
||||
1. 完成并测试 P0 competing-risk censoring,人工打印至少一条 response 和 yield 时间轴。
|
||||
2. 扩展 local sidecar loader,使其在不破坏现有 pooled 加载路径的情况下返回逐帧人物
|
||||
feature、offset 和 mask;测试成功、失败、空人物和越界路径。
|
||||
3. 实现 F1 最小 Frame-set Attention,不加入 bbox 或 track temporal。
|
||||
4. 单 session/短片 smoke:检查 shape、cutoff、chosen frame time、mask、空人物和排列
|
||||
不变性。
|
||||
5. 在固定 train-internal dev 上运行 B1、B3、F1-a、F1-c、F1-d、F1-e 和 F1-g。
|
||||
6. F1 通过后才进入 F2;若未通过,优先审计人物 crop 和 AV 对齐,不继续堆模型。
|
||||
1. 用户当前选择先做 dense-AP model screen;运行 matched pooled 与
|
||||
`track-gru-residual`,固定 Session 12 dev,不用测试集选历史长度。
|
||||
2. 若 track GRU 有稳定增益,补 broken-track、past-shift、no-ID 和 remove-person 控制;若
|
||||
无增益,只在 dev 上比较 8/16/32 observations 后停止该分支。
|
||||
3. correct track 通过控制后,再实现 F4 person-conditioned audio/Omni history;否则回到
|
||||
对齐审计,不直接堆更深 interaction。
|
||||
4. 在形成论文事件结论前,仍须完成 P0 competing-risk censoring,并人工打印 response 与
|
||||
yield 时间轴。当前事件结果只能称为 timing-derived proxy。
|
||||
|
||||
Reference in New Issue
Block a user