Document global-local Omni paper position and oracle evidence

This commit is contained in:
Xin Wang
2026-09-07 14:33:21 +08:00
parent 2632402a70
commit da77c4983a
6 changed files with 254 additions and 121 deletions
@@ -27,8 +27,11 @@ mAP。它表现稳定,但与旧 pooled 结果的 split/dev 协议并不匹配
视觉控制,因此不能写成注意力优于 pooling。另加入两个仅用
当前 sidecar 的 F5/F6 **screening** 模式:`audio-person-frame-set` 和
`gated-person-state-adapter`。前者没有 F4 人物历史,后者位于 Thinker readout 之后;二者
都不能写成完整 F5/F6。第一版 F3 `track-gru-residual` 已实现但尚待远程运行;F2、F4、
真正的 F5/F6 和 D1 仍然只是计划。
都不能写成完整 F5/F6。第一版 F3 `track-gru-residual` 已完成远程运行,但因 zero-gate
阻塞早期梯度只能记为优化失败,不能用于判断 track continuity。随后完成的 oracle
information screen 表明及时的 aggregate visible activity 有明显价值,而逐人历史与
shuffled-ID 无差别。因此当前优先级已从“继续加深 track 模型”改为“先从真实 AV 学出及时
的局部 floor evidence”;F2、F4、真正的 F5/F6 和 D1 仍然只是计划。
## 2. 不可改变的实验条件
@@ -70,7 +73,24 @@ P0 修正前的 entry/yield 数值只能称为 timing-derived proxy,不得作
| F6 | Thinker person-memory adapter | 旁路证据能否安全接入 Omni 内部 | D1 |
| D1 | 在线 detector + causal tracker | 部署管线与 provided-box 上限的差距 | 完整系统 |
F1 是下一项实现。F2 及以后不并行堆叠,避免无法判断收益来自哪一层。
F1 已完成初筛,但尚未通过视觉错位/错人和事件 gate。当前先执行下面的 oracle 驱动
学习步骤;F2 及以后仍不并行堆叠,避免无法判断收益来自哪一层。
### 3.1 Oracle 信息门对路线的修正
2026-09-07 的 Session 12 seed-0、四 epoch screen 使用严格 past/current-only 的
transcript-derived activity 作为 analysis-only sidecar。`aggregate-visible` 相对相同的
G+A baseline 提升 `+6.96649` 个点的 0.2 秒 mAP 和 `+2.91047` 个点的十 horizon mean
mAP;visibility-only 和延迟 1 秒的 activity 仍接近 G+A。这说明当前模型缺少的是及时的
局部 floor activity,而不只是“画面里有人”或额外参数。
但是 `aggregate-visible` 高于 `per-person`,且 `per-person` 与 `shuffled-id` 的差异仅为
`-0.05826`(0.2 秒)和 `-0.07725`(mean mAP)个百分点。当前 dense aggregate-others
目标没有显示人物 ID 连续性的额外信息价值。因此,下一项学习模块首先应是从因果音频与
人物 crop 估计 aggregate visible-person floor evidence,并报告它恢复了多少 oracle gap。
只有正确人物/时间的逐人表示进一步稳定优于 aggregate、no-ID、broken-continuity 和错时
控制,F3/F4 的 track 叙事才恢复为主线。完整结果见
[`oracle result record`](../results/easycom_oracle_information_4ep_2026-09-07/README.md)。
## 4. F0:冻结现有 pooling 基线
@@ -286,14 +306,13 @@ README 必须写明 split、seed、checkpoint、输入特征版本、评测协
## 12. 最近执行顺序
1. 第一版 matched pooled/`track-gru-residual` dense-AP screen 已完成,但因 zero-gate
gradient blockage 判为优化失败,不是 track continuity 的有效阴性结果。
2. 先用零初始化 residual 输出层修正梯度路径,只在 Session 12 做 seed-0 诊断;确认分支
实际改变 logits 后再跑三 seed。若修正后仍无增益,再决定是否比较 8/16/32
observations;不要根据已经查看过的 Sessions 1--3 seed-0 结果调参。
3. 若修正后的 track GRU 有稳定增益,补 broken-track、past-shift、no-ID 和 remove-person
控制;若仍无增益则停止该分支。
4. correct track 通过控制后,再实现 F4 person-conditioned audio/Omni history;否则回到
对齐审计,不直接堆更深 interaction。
5. 在形成论文事件结论前,仍须完成 P0 competing-risk censoring,并人工打印 response 与
1. 用 seeds 1--2 复核六个 oracle 条件;只看 Session 12,不能根据 Sessions 1--3 调整结构。
2. 从真实因果 AV 学习 aggregate visible-person activity/floor evidence,和 G+A、visibility、
past-shift、wrong-person/wrong-time、参数匹配分支比较,并报告 oracle-gap recovery。
3. 若正确视觉没有稳定优于错时/错人控制,停止复杂 fusion,先修复局部编码或 AV 对齐。
4. 只有 learned person-organized evidence 优于 aggregate/no-ID 时,才用零初始化 residual
输出层修复 track-GRU 梯度路径,并补 broken-track、past-shift 和 remove-person 控制。
5. correct track 通过上述控制后,再实现 F4 person-conditioned audio/Omni history;否则
论文采用更简单的 global Omni + local aggregate floor-evidence 模型。
6. 在形成论文事件结论前,仍须完成 P0 competing-risk censoring,并人工打印 response 与
yield 时间轴。当前事件结果只能称为 timing-derived proxy。