icassp2027-experiment/docs/global_local_omni_paper_position_2026-09-07.md

Global Omni + causal local AV：当前论文定位（2026-09-07）

决策

当前论文主线写成：

面向真实多人场景中的 egocentric conversational agent，用 human camera wearer 的未来 说话行为作为 agent floor action 的 imitation target；研究全局 Omni 表示是否遗漏了 决定何时开口/保持倾听所需的及时局部视听 floor evidence，并用一个严格因果的局部分支 补充这种信息。

模型分解为两部分：

• Global Omni context：保留场景、长时对话和联合音视频语境；
• Causal local AV evidence：从最近 mixed audio 和可变数量的 visible-person observations 中恢复短时 floor activity，再与全局状态融合。

人物框/track 是组织局部观测的接口。只有在 correct track 稳定优于 aggregate、no-ID、 shuffled/broken-ID、错人和错时控制后，track continuity 才能成为方法贡献。在此之前不能 声称模型学会了 speaker identity、addressee 或 other-to-other 语义理解。

为什么这个主线比“直接用 person track”更符合现有证据

EasyCom Session 12 的 single-seed causal oracle screen 显示：

• aggregate-visible - audio：0.2 秒 mAP +6.96649，十 horizon mean mAP +2.91047；
• visibility-only 和延迟 1 秒的 activity 接近 audio baseline；
• aggregate-visible 高于 per-person；
• per-person - shuffled-id：0.2 秒 -0.05826，mean mAP -0.07725。

因此已支持的命题是“及时的局部 visible-other activity 有信息价值”。尚未支持的命题是 “人物 ID 连续性本身有额外价值”。第一版 track-GRU 又因 zero scalar gate 阻塞早期分支 梯度而不是有效的阴性实验，不能据此断言 track 无用。

完整数值和协议见 EasyCom oracle result record。

论文中的 claim ladder

现在可以写

1. 在当前 Qwen2.5-Omni-3B causal readout 下，全局状态与最近 mixed audio 尚未包含全部及时 visible-other floor information。
2. analysis-only oracle 证明 local aggregate activity 是有意义的互补信号。
3. 提出并比较从真实因果 AV 恢复该信号的 global--local 模型族。
4. provided boxes/tracks 是方法隔离条件；部署时可由 online detector/tracker 提供，但在 运行该前端前不能称为完整 online-track 系统。

现在不能写

1. 通用 Omni 模型都缺乏这种能力；目前证据只来自 Qwen2.5-Omni-3B 和当前 readout。
2. person track、speaker identity 或跨时身份连续性提高了 floor action。
3. 模型理解了谁对谁说话、语义 EOT/INT 或 addressee。
4. dense mAP 的提高已经减少实际错误抢话；这必须由冻结后的事件协议证明。

方法选择顺序

1. seeds 1--2 复核 oracle 六条件，保持 Session 12 为 development screen。
2. 训练 causal visible-person activity/floor estimator，先尝试恢复 aggregate oracle gap。
3. 比较 G+A、pooled local AV、Frame-set Attention、参数匹配分支，以及 past-shift/wrong-person/wrong-time/NULL 控制。
4. 只有 person-organized feature 通过这些控制，才继续修复 track residual 并测试 broken continuity；否则最终模型保持更简单的 aggregate local branch。
5. 在主结果前冻结 competing-risk-censored event evaluator，报告 matched wearer-onset recall 下的 multi-other false entry/min，同时确认 valid entry 和 yield 不退化。
6. 架构和协议冻结后再一次性运行 EasyCom Sessions 1--3；Ego4D 只报告它的标注确实支持的 activity/floor 指标。

稿件组织

• 问题：真实多人环境中的 agent floor action，而不是预测 camera wearer 本身作为最终 应用；wearer 行为只是可监督的 imitation target。
• 诊断：global Omni 与 local evidence 的信息分解，以及 oracle 的正/负控制。
• 方法：最终只描述通过 gate 的 learned local variant；未通过的 track/adapter 放消融。
• 评价：EgoSpeak-compatible dense AP 用于可比性，event metrics 用于验证行为价值。
• 结论边界：aggregate local activity 的价值已得到初步支持；identity continuity 尚未 得到支持。若 learned branch 不能恢复 oracle gap，论文只能定位为 information audit， 不能包装成 track-based solution。