icassp2027-experiment/docs/omni_speaker_floor_experiment_plan_2026-08-30.md

Omni 多人说话者理解与 wearer floor action：实验主线（2026-08-30）

1. 论文真正要回答的问题

本项目不再把“Qwen2.5-Omni 是否能替换 EgoSpeak 的 ResNet、wav2vec 和 GRU/Transformer”作为最终主线。它只是一个 representation baseline。

主问题应收敛为：

严格因果的 Omni 模型是否真正编码了多人场景中的“谁在何时说话、话语是否面向 wearer”这类视听 grounding；把这种逐人证据加入预测后，能否使不可见的 camera wearer 更合理地进入或让出话轮？

最重要的可证伪目标是：

在相同 wearer 开口事件召回率下，正确对齐的逐人视觉应减少 other↔other 交谈期间 的错误开口预测；同时，不能降低对真正 addressed-to-wearer 接话事件的召回率，也 不能恶化 wearer 正在讲话时的让话预测。

这比“整体 mAP 提高”更能说明模型理解了多人交互，而不只是利用音量、静音和数据 先验。

2. 可以和不可以主张什么

可以主张的研究空缺

现有工作分别研究了 egocentric 未来说话状态、多人 EOT/VAP、视听对话图和说话者 grounding，但它们尚未完整覆盖以下交集：

• 单个 egocentric wearer 视角；
• 严格因果的音频和视频；
• wearer 本人通常不在画面中，却是需要预测行为的主体；
• 同时评估进入话轮和让出话轮；
• 使用逐人/对象指向的视觉证据；
• 用事件召回、错误开口率和响应延迟，而不只用逐帧未来活动 mAP。

更稳妥的论文表述是：

To our knowledge, this is the first study of strictly causal, speaker-grounded audiovisual forecasting of both floor-entry and floor-yield actions for an invisible egocentric wearer in natural multiparty conversations.

这个 claim 仍需在投稿前按检索结果逐条核对，不能写成“首个多人视听 turn-taking”或 “首个在线多人 EOT”。完整边界见 多人 egocentric floor gap audit。

不足以成为贡献的内容

• 仅把 EgoSpeak 的旧 backbone 换成 Qwen2.5-Omni；
• 仅报告 0.2--2.0 秒逐帧 mAP；
• 仅发现 G+A+V 高于 G，但没有正确人物、错位人物或参数匹配控制；
• 把 aggregate others 的边界直接称为语义 EOT、INT 或 addressee 真值；
• 把冻结 Omni 特征加 MLP 称为任务级端到端训练；
• 继续优化此前泛化的 transition auxiliary loss，而不区分 wearer entry/yield 场景。

冻结 Thinker 加 head 应称为 frozen-backbone adaptation 或 representation probe。 只有联合优化局部 adapter/LoRA 与任务目标时，才接近 task-adapted end-to-end 模型。

3. 四个假设

假设	问题	可观察证据
H1	全局 Omni state 是否包含 aggregate floor 信息？	wearer/others 活动与未来活动 probe 优于简单先验和 encoder-only baseline
H2	全局 Omni state 是否可靠地区分画面中的不同说话人？	匿名 person-slot active-speaker probe 明显优于随机/时序错位视觉
H3	逐人 grounding 是否改变 wearer 的开口决策？	matched onset recall 下，other↔other 时段 false entry/min 显著下降
H4	这种抑制是否只是让模型更保守？	addressed-to-wearer response recall/latency 和 wearer yield 不退化

如果 H2 不成立，论文不能宣称原始 Omni 已经具有可靠 speaker grounding；这时逐人分支 本身就是所需的适配模块。如果 H2 成立但 H3 不成立，则 representation 有说话者信息， 但它没有转化为 floor-action 收益，也不能强行讲成成功故事。

4. 实验顺序

P0：先冻结评测和数据定义

在训练新模型前完成，否则后续所有数值都可能回答错问题。

1. 核实 5 Hz row t 的输入截止时间和 t+h 标签物理时间；保留现有 causal-valid mask。
2. 修正事件归因的 competing risk：
   • other offset 后的 wearer response 只在下一次 other onset 之前归因；
   • other onset 后的 wearer yield 只在下一次 other offset 之前归因。 现有 evaluate_floor_state_changes.py 使用固定 horizon 内任意 transition，暂时只能作为 proxy，可能把后来无关的动作归给前一个边界。
3. 固定 EasyCom train/test（4--12 / 1--3）；阈值、窗口和规则不能在 test 上调。
4. 从训练 session 内留出 calibration/dev 子集，用来选择阈值和 early stopping；最终表格 仍在官方 test 上一次性报告。
5. 冻结三个场景切片：
   • third_party: other↔other，wearer 不应开口；
   • addressed: 他人明确面向 wearer，期待 wearer 响应；
   • group_or_unknown: 群体/目标未知，只作独立报告。
6. 审计 EasyCom Target_of_Speech 的覆盖与可靠性；Ego4D 缺少充分 addressee 标注时， 不把它用于 addressed-to-wearer 主指标。

P0 的产物应包括事件计数、正负样本数、示例时间轴和人工复核样例，而不只是一个 AP。

P1：先诊断 Omni 是否真的知道“谁在说话”

使用冻结表示和轻量、容量匹配的 probe，避免先训练复杂模型后再猜收益来源。

ID	输入表示	目的
D0	EgoSpeak 原始音频/视觉特征	可参照的旧表示基线
D1-A/V/AV	Qwen audio/visual encoder-only	区分 encoder 信息和 Thinker 融合信息
D2	全局 Thinker state G	检查 Omni 全局状态
D3	匿名 person slots V_i	逐人 active-speaker / visible-speaker probe
D4	G + V_i	检查全局语义能否帮助人物归因

必须加入的控制：

• audio-only、visual-only、正确 AV；
• 同一时刻随机换人的 crop；
• 时间错位 crop；
• person slot permutation（模型不能依赖固定 person ID）；
• 参数量和历史长度匹配的 pooled-person baseline。

P1 的通过条件不是一个固定绝对阈值，而是：正确对齐的人物表示稳定优于错人/错时控制， 且三次随机种子置信区间不完全被简单 pooled baseline 覆盖。否则不要进入昂贵的 Thinker adapter 实验。

P2：建立 floor-action 基线，并证明普通池化视觉的局限

已有结果应重新放入同一个事件协议：

ID	模型	已知作用
B0	G	全局 Thinker baseline
B1	G + A	当前最主要的局部音频增益来源
B2	G + A + pooled V	检查普通局部视觉的边际价值
B3	G + A + shuffled V	判断视觉收益是否来自正确对齐
B4	G + A + temporal pooled V	与 person-wise temporal model 做公平容量/历史控制

当前 EasyCom seed-0 结果中，B1 到 B2 的 0.2 秒 wearer AP 只约 +0.02，mean mAP 约 +0.29。这说明“有视觉输入”尚不等于“理解谁在对谁说话”，也正好构成逐人方法的 动机。不要把这点写成视觉已被证实有效。

逐帧 10-horizon AP/mAP 保留为与 EgoSpeak 可比的次级指标；主指标改为：

• wearer entry event AP；
• wearer yield event AP；
• matched entry recall（建议 0.7/0.8/0.9）下 third-party false entries/min；
• addressed-to-wearer response recall 和 latency；
• wearer 已经讲话时的 yield recall 和 latency。

P3：第一优先方法——匿名逐人时序旁路

先做易解释、能在 8×L20 上完成的旁路，而不是直接修改整个 Thinker。

global Thinker states G_t ───────────────────────────────┐
recent local audio A_t -> causal audio temporal encoder ─┤
person crops V_{t,i} -> shared causal encoder per person ┤
                                  -> wearer-state-conditioned attention
                                  -> floor entry/yield head

关键约束：

• 人物轨迹使用匿名 slot，共享视觉编码器和时序 GRU/TCN，避免依赖 person ID；
• 每个时刻显式 mask 不可见人物；
• causal attention 只能看到当前及过去；
• 用 wearer 当前状态门控 entry/yield 分支；
• 所有比较匹配历史长度、参数量、优化器、训练轮数与种子。

逐步消融：

ID	增量	回答的问题
A0t	G+A + 参数匹配时序层	收益是否只是更多 temporal capacity？
A1	pooled-person temporal branch	收益是否只是人物区域平均更干净？
A2	person-wise shared encoder + causal cross-attention	保留人物结构是否必要？
A3	A2 + per-person active-speaker auxiliary loss	显式“谁在说”监督是否必要？
A4	A3 + addressee auxiliary loss	“对谁说”是否降低 third-party false entry？
A5	A4 + wearer entry/yield hazard loss	grounding 是否能转化为行为事件？

论文的关键对照是 A2/A3/A4 对 A0t、A1、B3，而不是只对最弱的 B0。

P4：第二阶段方法——把人物记忆接入 Omni Thinker

只有 P1 证明人物特征可解码、P3 证明人物结构对 floor action 有效后，再做：

ID	方法	作用
T0	Thinker LoRA，无人物 memory	参数与任务适配控制
T1	local person-memory adapter，冻结 Thinker	测试 trainable modality connection
T2	person-memory adapter + upper-layer LoRA	最接近 task-adapted end-to-end 的上限

adapter 应把每个 200 ms 或短 causal chunk 的人物 token 作为有 mask 的 memory，而不是把 所有人脸拼成一张图后再让模型猜人物边界。T1/T2 必须与 T0 参数匹配，并继续做 wrong person、time-shift 和 remove-video 干预。若 T1 不优于 P3，就保留更简单、更容易解释的 旁路作为论文方法。

5. 主表和证据链

主表

每个方法至少 3 seeds，报告 mean ± sample standard deviation，并对 session/event 做 bootstrap 置信区间：

Method	Entry event AP	Yield event AP	False entry/min @ R=.8	Addressed recall	Response latency	EgoSpeak mean mAP

其中 False entry/min @ R=.8 应作为最容易读懂的 headline metric；R=.7/.9 放附表或曲线。

三个必要的因果证据

1. 正确人物 > 错误人物：随机换人不能保留收益。
2. 正确时间 > 错位时间：未来帧绝不能进入输入，过去错位也应降低收益。
3. 选择性改善而非整体保守：third-party false entry 降低时，addressed response recall 不下降。

定性案例

挑选固定规则而不是事后挑最好看的例子：

• 两个 visible others 连续互相讲话，wearer 保持沉默；
• visible other 转向/面向 wearer 后，wearer 在合理延迟内开口；
• wearer 正在讲话，other 竞争性进入后 wearer 让话；
• 失败案例：遮挡、背脸、多人同时讲话、目标未知。

每个案例画同一时间轴：人物框、per-person speaking score、addressee score、wearer entry/yield score、真实 wearer 状态。

6. 8×L20 的执行优先级

不要一开始把 8 张卡都投入 T2。建议按 gate 推进：

1. 第 1 轮：3 seeds 的 B1、B2、A0t，加 B3 wrong-alignment control；冻结评测。
2. 第 2 轮：D3/D4 person probe；确认人物和时间对齐真的可解码。
3. 第 3 轮：3 seeds 的 A1、A2、A3；根据 matched-recall 主指标选方向。
4. 第 4 轮：只对通过的 A3 增加 addressee/event supervision。
5. 第 5 轮：T0/T1；只有 T1 显著优于旁路后才做 T2。
6. 跨数据集：EasyCom 用于完整 speaker/addressee 分析；Ego4D 用于 activity、entry/yield 泛化，不强行报告其不支持的 addressee 主指标。

每轮都先在一个 session 做 shape、时间和 leakage smoke test，再并行 full run。模型选择只看 train 内 calibration/dev，不读取官方 test 结果做超参数搜索。

7. 结果如何决定论文方向

观察	应得结论
正确视觉与错位视觉无差别	当前局部视觉没有被模型使用；不能讲 AV social grounding
只有 audio 提升	收敛成 prosody/audio floor forecasting，不硬写视觉故事
person probe 好，但 floor 指标无提升	Omni 有人物信息，但当前任务/融合没有利用它
A2 优于 pooled，但 A3/A4 无额外收益	人物结构有效，辅助标签质量或目标设计需调整
A4 在 matched recall 下降低 third-party false entry，addressed recall 不退化	最强、最直接的多人 AV floor-action 证据
T1/T2 不优于旁路	采用简单旁路；不为“端到端”牺牲可解释性

8. 最小可投稿版本与强版本

最小可投稿版本：新的 wearer entry/yield 事件协议、Omni speaker-grounding 诊断、 EgoSpeak/encoder-only/Thinker/local-audio/pooled-video 强基线、EasyCom+Ego4D 复现，并清楚 展示逐帧 mAP 隐藏的行为差异。

强版本：在上述基础上，匿名逐人 causal fusion 在 matched wearer recall 下显著降低 third-party false entry，保持 addressed response 与 yield，并通过 wrong-person、time-shift、 audio-only、参数匹配和跨数据集控制。

前者回答“现有 Omni 到底会不会管理话轮”；后者进一步给出“怎样让它利用多人视觉管理 话轮”。后者才是更有竞争力的 ICASSP 主线。