79 lines
4.3 KiB
Markdown
79 lines
4.3 KiB
Markdown
|
# Global Omni + causal local AV：当前论文定位（2026-09-07）
|
|||
|
|
|
|||
|
|
## 决策
|
|||
|
|
|
|||
|
|
当前论文主线写成：
|
|||
|
|
|
|||
|
|
> 面向真实多人场景中的 egocentric conversational agent，用 human camera wearer 的未来
|
|||
|
|
> 说话行为作为 agent floor action 的 imitation target；研究全局 Omni 表示是否遗漏了
|
|||
|
|
> 决定何时开口/保持倾听所需的及时局部视听 floor evidence，并用一个严格因果的局部分支
|
|||
|
|
> 补充这种信息。
|
|||
|
|
|
|||
|
|
模型分解为两部分：
|
|||
|
|
|
|||
|
|
- **Global Omni context**：保留场景、长时对话和联合音视频语境；
|
|||
|
|
- **Causal local AV evidence**：从最近 mixed audio 和可变数量的 visible-person observations
|
|||
|
|
中恢复短时 floor activity，再与全局状态融合。
|
|||
|
|
|
|||
|
|
人物框/track 是组织局部观测的接口。只有在 correct track 稳定优于 aggregate、no-ID、
|
|||
|
|
shuffled/broken-ID、错人和错时控制后，track continuity 才能成为方法贡献。在此之前不能
|
|||
|
|
声称模型学会了 speaker identity、addressee 或 other-to-other 语义理解。
|
|||
|
|
|
|||
|
|
## 为什么这个主线比“直接用 person track”更符合现有证据
|
|||
|
|
|
|||
|
|
EasyCom Session 12 的 single-seed causal oracle screen 显示：
|
|||
|
|
|
|||
|
|
- `aggregate-visible - audio`：0.2 秒 mAP `+6.96649`，十 horizon mean mAP `+2.91047`；
|
|||
|
|
- visibility-only 和延迟 1 秒的 activity 接近 audio baseline；
|
|||
|
|
- `aggregate-visible` 高于 `per-person`；
|
|||
|
|
- `per-person - shuffled-id`：0.2 秒 `-0.05826`，mean mAP `-0.07725`。
|
|||
|
|
|
|||
|
|
因此已支持的命题是“及时的局部 visible-other activity 有信息价值”。尚未支持的命题是
|
|||
|
|
“人物 ID 连续性本身有额外价值”。第一版 track-GRU 又因 zero scalar gate 阻塞早期分支
|
|||
|
|
梯度而不是有效的阴性实验，不能据此断言 track 无用。
|
|||
|
|
|
|||
|
|
完整数值和协议见
|
|||
|
|
[`EasyCom oracle result record`](../results/easycom_oracle_information_4ep_2026-09-07/README.md)。
|
|||
|
|
|
|||
|
|
## 论文中的 claim ladder
|
|||
|
|
|
|||
|
|
### 现在可以写
|
|||
|
|
|
|||
|
|
1. 在当前 Qwen2.5-Omni-3B causal readout 下，全局状态与最近 mixed audio 尚未包含全部及时
|
|||
|
|
visible-other floor information。
|
|||
|
|
2. analysis-only oracle 证明 local aggregate activity 是有意义的互补信号。
|
|||
|
|
3. 提出并比较从真实因果 AV 恢复该信号的 global--local 模型族。
|
|||
|
|
4. provided boxes/tracks 是方法隔离条件；部署时可由 online detector/tracker 提供，但在
|
|||
|
|
运行该前端前不能称为完整 online-track 系统。
|
|||
|
|
|
|||
|
|
### 现在不能写
|
|||
|
|
|
|||
|
|
1. 通用 Omni 模型都缺乏这种能力；目前证据只来自 Qwen2.5-Omni-3B 和当前 readout。
|
|||
|
|
2. person track、speaker identity 或跨时身份连续性提高了 floor action。
|
|||
|
|
3. 模型理解了谁对谁说话、语义 EOT/INT 或 addressee。
|
|||
|
|
4. dense mAP 的提高已经减少实际错误抢话；这必须由冻结后的事件协议证明。
|
|||
|
|
|
|||
|
|
## 方法选择顺序
|
|||
|
|
|
|||
|
|
1. seeds 1--2 复核 oracle 六条件，保持 Session 12 为 development screen。
|
|||
|
|
2. 训练 causal visible-person activity/floor estimator，先尝试恢复 aggregate oracle gap。
|
|||
|
|
3. 比较 `G+A`、pooled local AV、Frame-set Attention、参数匹配分支，以及
|
|||
|
|
past-shift/wrong-person/wrong-time/NULL 控制。
|
|||
|
|
4. 只有 person-organized feature 通过这些控制，才继续修复 track residual 并测试
|
|||
|
|
broken continuity；否则最终模型保持更简单的 aggregate local branch。
|
|||
|
|
5. 在主结果前冻结 competing-risk-censored event evaluator，报告 matched wearer-onset
|
|||
|
|
recall 下的 multi-other false entry/min，同时确认 valid entry 和 yield 不退化。
|
|||
|
|
6. 架构和协议冻结后再一次性运行 EasyCom Sessions 1--3；Ego4D 只报告它的标注确实支持的
|
|||
|
|
activity/floor 指标。
|
|||
|
|
|
|||
|
|
## 稿件组织
|
|||
|
|
|
|||
|
|
- **问题**：真实多人环境中的 agent floor action，而不是预测 camera wearer 本身作为最终
|
|||
|
|
应用；wearer 行为只是可监督的 imitation target。
|
|||
|
|
- **诊断**：global Omni 与 local evidence 的信息分解，以及 oracle 的正/负控制。
|
|||
|
|
- **方法**：最终只描述通过 gate 的 learned local variant；未通过的 track/adapter 放消融。
|
|||
|
|
- **评价**：EgoSpeak-compatible dense AP 用于可比性，event metrics 用于验证行为价值。
|
|||
|
|
- **结论边界**：aggregate local activity 的价值已得到初步支持；identity continuity 尚未
|
|||
|
|
得到支持。若 learned branch 不能恢复 oracle gap，论文只能定位为 information audit，
|
|||
|
|
不能包装成 track-based solution。
|