# Omni 多人说话者理解与 wearer floor action：实验主线（2026-08-30）

## 1. 论文真正要回答的问题

本项目不再把“Qwen2.5-Omni 是否能替换 EgoSpeak 的 ResNet、wav2vec 和
GRU/Transformer”作为最终主线。它只是一个 representation baseline。

主问题应收敛为：

> 严格因果的全局 Omni state 是否保留了多人场景中及时的局部视听 floor evidence；用
> 人物 crop 组织的局部分支补充这种信息后，能否使不可见的 camera wearer 更合理地进入
> 或让出话轮？进一步保留逐人 track continuity 是否真的提供 aggregate activity 之外的
> 增量，是实验问题而不是预设。

最重要的可证伪目标是：

> 在相同 wearer 开口事件召回率下，正确对齐的局部视听证据应减少 other↔other 交谈期间
> 的错误开口预测；同时，不能降低对真正 addressed-to-wearer 接话事件的召回率，也
> 不能恶化 wearer 正在讲话时的让话预测。

这比“整体 mAP 提高”更能说明模型理解了多人交互，而不只是利用音量、静音和数据
先验。

## 2. 可以和不可以主张什么

### 可以主张的研究空缺

现有工作分别研究了 egocentric 未来说话状态、多人 EOT/VAP、视听对话图和说话者
grounding，但它们尚未完整覆盖以下交集：

- 单个 egocentric wearer 视角；
- 严格因果的音频和视频；
- wearer 本人通常不在画面中，却是需要预测行为的主体；
- 同时评估进入话轮和让出话轮；
- 使用逐人/对象指向的视觉证据；
- 用事件召回、错误开口率和响应延迟，而不只用逐帧未来活动 mAP。

只有逐人控制通过后，才可使用下面的强表述：

> To our knowledge, this is the first study of strictly causal,
> speaker-grounded audiovisual forecasting of both floor-entry and floor-yield
> actions for an invisible egocentric wearer in natural multiparty
> conversations.

这个 claim 仍需在投稿前按检索结果逐条核对，不能写成“首个多人视听 turn-taking”或
“首个在线多人 EOT”。完整边界见
[多人 egocentric floor gap audit](multiparty_egocentric_floor_gap_audit_2026-08-30.md)。

在当前 oracle 结果下，更稳妥的主张是研究 **global Omni context 与 causal local AV
floor evidence 的互补性**。人物框/track 暂时只是组织局部观测的接口，不能写成已验证的
speaker grounding 或 identity-aware reasoning。

### 不足以成为贡献的内容

- 仅把 EgoSpeak 的旧 backbone 换成 Qwen2.5-Omni；
- 仅报告 0.2--2.0 秒逐帧 mAP；
- 仅发现 G+A+V 高于 G，但没有正确人物、错位人物或参数匹配控制；
- 把 aggregate `others` 的边界直接称为语义 EOT、INT 或 addressee 真值；
- 把冻结 Omni 特征加 MLP 称为任务级端到端训练；
- 继续优化此前泛化的 transition auxiliary loss，而不区分 wearer entry/yield 场景。

冻结 Thinker 加 head 应称为 **frozen-backbone adaptation** 或 representation probe。
只有联合优化局部 adapter/LoRA 与任务目标时，才接近 task-adapted end-to-end 模型。

## 3. 四个假设

| 假设 | 问题 | 可观察证据 |
|---|---|---|
| H1 | 全局 Omni state 是否包含 aggregate floor 信息？ | wearer/others 活动与未来活动 probe 优于简单先验和 encoder-only baseline |
| H2 | 真实因果 AV 能否恢复 oracle 所显示的 timely local floor evidence？ | learned local branch 优于 audio、visibility、错人/错时和参数匹配控制，并恢复可报告比例的 oracle gap |
| H3 | 逐人 continuity 是否提供 aggregate evidence 之外的增量？ | correct track 稳定优于 aggregate、no-ID、shuffled/broken-ID 控制 |
| H4 | 这种抑制是否只是让模型更保守？ | addressed-to-wearer response recall/latency 和 wearer yield 不退化 |

如果 H2 不成立，论文不能宣称局部 AV 分支解决了 Omni 的 floor-evidence 缺口；应先审计
编码和时间对齐。如果 H2 成立但 H3 不成立，则采用简单 aggregate/person-set 分支，并
明确 track identity 没有增量，不能强行讲成 speaker-continuity 故事。

## 4. 实验顺序

### P0：先冻结评测和数据定义

在训练新模型前完成，否则后续所有数值都可能回答错问题。

1. 核实 5 Hz `row t` 的输入截止时间和 `t+h` 标签物理时间；保留现有 causal-valid
   mask。
2. 修正事件归因的 competing risk：
   - other offset 后的 wearer response 只在下一次 other onset 之前归因；
   - other onset 后的 wearer yield 只在下一次 other offset 之前归因。
   `evaluate_floor_state_changes.py` 已实现并通过合成单元测试；投稿前仍需在真实数据上打印
   时间轴、复核 censoring/invalid 计数并冻结协议。运行方式见
   [`easycom_competing_risk_floor_evaluation.md`](easycom_competing_risk_floor_evaluation.md)。
3. 固定 EasyCom train/test（4--12 / 1--3）；阈值、窗口和规则不能在 test 上调。
4. 从训练 session 内留出 calibration/dev 子集，用来选择阈值和 early stopping；最终表格
   仍在官方 test 上一次性报告。
5. 冻结三个场景切片：
   - `third_party`: other↔other，wearer 不应开口；
   - `addressed`: 他人明确面向 wearer，期待 wearer 响应；
   - `group_or_unknown`: 群体/目标未知，只作独立报告。
6. 审计 EasyCom `Target_of_Speech` 的覆盖与可靠性；Ego4D 缺少充分 addressee 标注时，
   不把它用于 addressed-to-wearer 主指标。

P0 的产物应包括事件计数、正负样本数、示例时间轴和人工复核样例，而不只是一个 AP。

### P1：先诊断 Omni 是否真的知道“谁在说话”

使用冻结表示和轻量、容量匹配的 probe，避免先训练复杂模型后再猜收益来源。

| ID | 输入表示 | 目的 |
|---|---|---|
| D0 | EgoSpeak 原始音频/视觉特征 | 可参照的旧表示基线 |
| D1-A/V/AV | Qwen audio/visual encoder-only | 区分 encoder 信息和 Thinker 融合信息 |
| D2 | 全局 Thinker state `G` | 检查 Omni 全局状态 |
| D3 | 匿名 person slots `V_i` | 逐人 active-speaker / visible-speaker probe |
| D4 | `G + V_i` | 检查全局语义能否帮助人物归因 |

必须加入的控制：

- audio-only、visual-only、正确 AV；
- 同一时刻随机换人的 crop；
- 时间错位 crop；
- person slot permutation（模型不能依赖固定 person ID）；
- 参数量和历史长度匹配的 pooled-person baseline。

P1 的通过条件不是一个固定绝对阈值，而是：正确对齐的人物表示稳定优于错人/错时控制，
且三次随机种子置信区间不完全被简单 pooled baseline 覆盖。否则不要进入昂贵的 Thinker
adapter 实验。

2026-09-07 的 seed-0 Session-12 oracle screen 给出了更精确的门控信号：完全对齐的
`aggregate-visible` 活动相对 local-audio baseline 提升 `+6.96649` 个点的 0.2 秒 mAP 和
`+2.91047` 个点的十 horizon mean mAP，而 visibility-only 和延迟 1 秒的活动接近 audio。
这支持“及时的局部 floor evidence 有信息价值”。但是 `aggregate-visible` 高于
`per-person`，且 `per-person` 与 `shuffled-id` 基本相同，因此当前结果不支持人物 ID
连续性。下一步优先学习可部署的 causal visible-person active-speaker/floor estimator；只有
正确逐人证据稳定优于 aggregate、no-ID、broken-continuity 和错时控制，才进入 track-aware
主方法。完整数值见
[`oracle result record`](../results/easycom_oracle_information_4ep_2026-09-07/README.md)。

### P2：建立 floor-action 基线，并证明普通池化视觉的局限

已有结果应重新放入同一个事件协议：

| ID | 模型 | 已知作用 |
|---|---|---|
| B0 | `G` | 全局 Thinker baseline |
| B1 | `G + A` | 当前最主要的局部音频增益来源 |
| B2 | `G + A + pooled V` | 检查普通局部视觉的边际价值 |
| B3 | `G + A + shuffled V` | 判断视觉收益是否来自正确对齐 |
| B4 | `G + A + temporal pooled V` | 与 person-wise temporal model 做公平容量/历史控制 |

当前 EasyCom seed-0 结果中，B1 到 B2 的 0.2 秒 wearer AP 只约 `+0.02`，mean mAP
约 `+0.29`。这说明“有视觉输入”尚不等于“理解谁在对谁说话”，也正好构成逐人方法的
动机。不要把这点写成视觉已被证实有效。

逐帧 10-horizon AP/mAP 保留为与 EgoSpeak 可比的次级指标；主指标改为：

- wearer entry event AP；
- wearer yield event AP；
- matched entry recall（建议 0.7/0.8/0.9）下 third-party false entries/min；
- addressed-to-wearer response recall 和 latency；
- wearer 已经讲话时的 yield recall 和 latency。

首个 Sessions 1--3 EgoSpeak MiniROADA A+V 基线已把三层指标分开：dense 0.2 秒
mAP/十-horizon mean mAP 为 `74.124/61.155`，raw wearer onset/offset mean AP 为
`24.491/38.024`；在尚未人工复核的 LLM-assisted matched opportunities 上，ENTRY
AP 为 `52.487`（prevalence `32.731%`），INT/YIELD AP 为 `20.135`
（prevalence `20.438%`）。因此 EgoSpeak Figure 7 式连续 wearer score 只能作为 dense
forecasting 的定性解释，不能代替 boundary 或 semantic opportunity 评估。完整 horizon
曲线和限制见
[`three-level baseline record`](../results/easycom_egospeak_three_level_eval_2026-09-16/README.md)。

当前 F1 current-frame person-set screen 的三种子结果同样没有支持 semantic floor
selectivity：ENTRY/INT opportunity AP 为 `41.561 +/- 0.581` / `22.991 +/- 0.202`，
低于历史 pooled-V seed-0 的 `46.022/24.266`；dense mean mAP 也为
`64.951 +/- 0.095`，没有超过历史 pooled-V 的 `65.400`。由于两者 train/dev
选择协议不同，这只能判为稳定的负向 screening，正式归因前必须补同协议三种子 pooled
control。详见 [`Omni floor screening record`](../results/easycom_omni_floor_screen_2026-09-16/README.md)。

### P3：第一优先方法——匿名逐人时序旁路

先做易解释、能在 8×L20 上完成的旁路，而不是直接修改整个 Thinker。

```text
global Thinker states G_t ───────────────────────────────┐
recent local audio A_t -> causal audio temporal encoder ─┤
person crops V_{t,i} -> shared causal encoder per person ┤
                                  -> wearer-state-conditioned attention
                                  -> floor entry/yield head
```

关键约束：

- 人物轨迹使用匿名 slot，共享视觉编码器和时序 GRU/TCN，避免依赖 person ID；
- 每个时刻显式 mask 不可见人物；
- causal attention 只能看到当前及过去；
- 用 wearer 当前状态门控 entry/yield 分支；
- 所有比较匹配历史长度、参数量、优化器、训练轮数与种子。

逐步消融：

| ID | 增量 | 回答的问题 |
|---|---|---|
| A0t | `G+A` + 参数匹配时序层 | 收益是否只是更多 temporal capacity？ |
| A1 | pooled-person temporal branch | 收益是否只是人物区域平均更干净？ |
| A2 | person-wise shared encoder + causal cross-attention | 保留人物结构是否必要？ |
| A3 | A2 + per-person active-speaker auxiliary loss | 显式“谁在说”监督是否必要？ |
| A4 | A3 + addressee auxiliary loss | “对谁说”是否降低 third-party false entry？ |
| A5 | A4 + wearer entry/yield hazard loss | grounding 是否能转化为行为事件？ |

论文的关键对照是 A2/A3/A4 对 A0t、A1、B3，而不是只对最弱的 B0。

### P4：第二阶段方法——把人物记忆接入 Omni Thinker

只有 P1 证明人物特征可解码、P3 证明人物结构对 floor action 有效后，再做：

| ID | 方法 | 作用 |
|---|---|---|
| T0 | Thinker LoRA，无人物 memory | 参数与任务适配控制 |
| T1 | local person-memory adapter，冻结 Thinker | 测试 trainable modality connection |
| T2 | person-memory adapter + upper-layer LoRA | 最接近 task-adapted end-to-end 的上限 |

adapter 应把每个 200 ms 或短 causal chunk 的人物 token 作为有 mask 的 memory，而不是把
所有人脸拼成一张图后再让模型猜人物边界。T1/T2 必须与 T0 参数匹配，并继续做 wrong
person、time-shift 和 remove-video 干预。若 T1 不优于 P3，就保留更简单、更容易解释的
旁路作为论文方法。

## 5. 主表和证据链

### 主表

每个方法至少 3 seeds，报告 mean ± sample standard deviation，并对 session/event 做
bootstrap 置信区间：

| Method | Entry event AP | Yield event AP | False entry/min @ R=.8 | Addressed recall | Response latency | EgoSpeak mean mAP |
|---|---:|---:|---:|---:|---:|---:|

其中 `False entry/min @ R=.8` 应作为最容易读懂的 headline metric；R=.7/.9 放附表或曲线。

### 三个必要的因果证据

1. **正确人物 > 错误人物**：随机换人不能保留收益。
2. **正确时间 > 错位时间**：未来帧绝不能进入输入，过去错位也应降低收益。
3. **选择性改善而非整体保守**：third-party false entry 降低时，addressed response recall
   不下降。

### 定性案例

挑选固定规则而不是事后挑最好看的例子：

- 两个 visible others 连续互相讲话，wearer 保持沉默；
- visible other 转向/面向 wearer 后，wearer 在合理延迟内开口；
- wearer 正在讲话，other 竞争性进入后 wearer 让话；
- 失败案例：遮挡、背脸、多人同时讲话、目标未知。

每个案例画同一时间轴：人物框、per-person speaking score、addressee score、wearer
entry/yield score、真实 wearer 状态。

## 6. 8×L20 的执行优先级

不要一开始把 8 张卡都投入 T2。建议按 gate 推进：

1. **第 1 轮**：3 seeds 的 B1、B2、A0t，加 B3 wrong-alignment control；冻结评测。
2. **第 2 轮**：D3/D4 person probe；确认人物和时间对齐真的可解码。
3. **第 3 轮**：3 seeds 的 A1、A2、A3；根据 matched-recall 主指标选方向。
4. **第 4 轮**：只对通过的 A3 增加 addressee/event supervision。
5. **第 5 轮**：T0/T1；只有 T1 显著优于旁路后才做 T2。
6. **跨数据集**：EasyCom 用于完整 speaker/addressee 分析；Ego4D 用于 activity、entry/yield
   泛化，不强行报告其不支持的 addressee 主指标。

每轮都先在一个 session 做 shape、时间和 leakage smoke test，再并行 full run。模型选择只看
train 内 calibration/dev，不读取官方 test 结果做超参数搜索。

## 7. 结果如何决定论文方向

| 观察 | 应得结论 |
|---|---|
| 正确视觉与错位视觉无差别 | 当前局部视觉没有被模型使用；不能讲 AV social grounding |
| 只有 audio 提升 | 收敛成 prosody/audio floor forecasting，不硬写视觉故事 |
| person probe 好，但 floor 指标无提升 | Omni 有人物信息，但当前任务/融合没有利用它 |
| A2 优于 pooled，但 A3/A4 无额外收益 | 人物结构有效，辅助标签质量或目标设计需调整 |
| A4 在 matched recall 下降低 third-party false entry，addressed recall 不退化 | 最强、最直接的多人 AV floor-action 证据 |
| T1/T2 不优于旁路 | 采用简单旁路；不为“端到端”牺牲可解释性 |

## 8. 最小可投稿版本与强版本

**最小可投稿版本**：新的 wearer entry/yield 事件协议、global/local information audit、
EgoSpeak/encoder-only/Thinker/local-audio/pooled-video 强基线、至少一个从真实 AV 恢复
oracle local-floor gap 的模型，以及 EasyCom+Ego4D 复现；并清楚展示逐帧 mAP 隐藏的行为
差异。

**强版本**：在上述基础上，匿名逐人 causal fusion 在 matched wearer recall 下显著降低
third-party false entry，保持 addressed response 与 yield，并通过 wrong-person、time-shift、
audio-only、参数匹配和跨数据集控制。

前者回答“现有 Omni 到底会不会管理话轮”；后者进一步给出“怎样让它利用多人视觉管理
话轮”。后者才是更有竞争力的 ICASSP 主线。