icassp2027-experiment/docs/icassp2027_acceptance_storyline_2026-09-10.md

ICASSP 2027 投稿主线与通过标准（2026-09-10）

状态：论文战略决策记录，不是实验结果。本文用于约束后续实验、方法选择和稿件取舍； 代码、测试和不可变结果记录仍是实现与数值的依据。

1. 最终应回答的一个问题

论文不以“更大的 Omni 模型替换较小的专用模型”为主张。建议收敛为：

通用 Omni 模型擅长理解多模态场景，却不天然适合第一视角下的亚秒级 floor control； 如何把长时全局 Omni context 与及时、角色相对的局部视听 floor evidence 结合，使模型 判断不可见 wearer 何时进入或让出 floor？

英文工作命题：

General-purpose Omni models are multimodally capable but not automatically task-sufficient: causal egocentric floor prediction requires explicit access to wearer-relative, short-term audiovisual floor evidence.

研究价值不来自参数量本身，而来自 foundation-model capability 与实时 interaction-control capability 之间的适配问题。

2. 第一性原理分解

一个 conversational agent 决定是否开口，需要：

1. 理解对话、场景和长时上下文；
2. 判断周围的 floor 是否仍被其他人占据或正在释放；
3. 判断潜在机会是否属于自己，并在数百毫秒内采取行动。

Omni 预训练主要服务于第一步。第二、三步具有明显的任务结构：

• 预测主体是摄像机后的 wearer，视觉上不可见；
• 可见人物是推断 wearer 行为的条件证据，而不是输出候选人；
• other-to-other handover 不等于 wearer 获得开口机会；
• wearer 的头部/摄像机运动与自身行为耦合；
• 决策是严格因果、连续、多 horizon 的，而不是 turn boundary 上的离线分类；
• entry 与 yield 是受 wearer 当前状态制约的不同决策情形。

因此，论文的科学问题不是“Omni 是否理解对话”，而是“通用理解表示如何转化为 wearer-relative 的实时 floor decision”。

3. ICASSP 审稿视角下的取舍

ICASSP 2027 官方审稿维度包括 importance/relevance、novelty/originality、technical correctness、experimental validation、prior work 和 clarity。常规稿只有四页正文，第五页 仅可放参考文献。因此一篇稿不能并列承载 Omni survey、LoRA 分析、oracle audit、track model、多个 adapter 和新评测六条主线。

• 重要性：Omni agent 的安全、自然 floor control 有明确价值。
• 新颖性：仅使用 Qwen/LoRA 很弱；由 egocentric role mismatch 导出的适配结构更强。
• 正确性：严格因果和 competing-risk event attribution 是硬门槛。
• 验证充分性：必须有 learned method、三种子、容量/错时控制和行为级指标。
• 清晰度：正文只保留一个最终方法和一个中心结论。

官方依据：

• ICASSP 2027 editorial policies
• ICASSP 2027 paper submission instructions

按当前研究状态，直接投稿仍会是 borderline/weak reject：oracle 信息价值已出现，但 learned local method 尚未恢复该增益，事件 evaluator 尚未冻结，最终架构也未确定。

4. 最简、最强的故事线

Act 1：Omni 已能理解，但 floor timing 仍未解决

Omni/full-duplex 模型正在成为实时音视频 agent 的基础，但生成“说什么”和控制“何时说” 不是同一问题。本文研究后者。

Act 2：专用模型的优势来自任务归纳偏置，而非单纯规模

VAP 显式预测未来 voice activity；EgoSpeak 定义第一视角、在线、连续 wearer activity forecasting；MM-VAP/MuVAP 显式保存 gaze、active-speaker 和 visible-speaker structure。 它们是现代 task-specific predictive systems，不能称为“传统方法”。

Act 3：naive Omni adaptation 暴露 temporal-role mismatch

Frozen readout 和受控 LoRA 用作诊断基线。若它们不能稳定超过专用基线，结论只能限定为： 当前 backbone/readout/recipe 未显式解决亚秒级时间线索和不可见 wearer 的角色不对称， 不能泛化为“所有 Omni 无法适配”。

Act 4：oracle 与干预定位 evidence-access bottleneck

当前 seed-0 oracle screen 显示，及时的 aggregate-visible activity 相对 matched audio baseline 提高 0.2 秒 mAP +6.96649、十 horizon mean mAP +2.91047；visibility-only 和 延迟一秒的 activity 接近 audio；per-person 与 shuffled identity 不分离。

该证据支持：

全局 Omni readout 没有向预测头充分暴露及时的 visible-other floor activity。

它不支持 speaker identity、track continuity、addressee understanding 或一般性的 Omni 能力缺失。

Act 5：用一个角色相对、双时间尺度 adapter 解决问题

候选最终方法应尽量简单：

long-context causal Omni state -------------------+
                                                   +--> residual fusion --> 10 x 3 future activity
short-window causal audio + visible-person set ---+
                         conditioned by wearer state

• 慢/全局路径保留场景、语义和长时对话信息；
• 快/局部路径保存最近约 0.5--1 秒的 prosody 和 visible-person floor activity；
• 人物集合使用共享编码器、mask、permutation-invariant aggregation 和 NULL/OFFSCREEN；
• wearer silent/active 状态用于区分 entry/yield 情形；
• 输出继续遵守 EgoSpeak-compatible 10 x 3 契约；
• 最终称为层间注入还是旁路 residual，由受控结果决定，而不是预先绑定故事。

方法的解释统一为 local floor-evidence routing，而不是泛泛的“增加特征多样性”。

Act 6：行为级结果闭环

论文最重要的结果应是：

在相同 valid wearer-onset recall 下，模型更少打断 other-to-other exchange，同时没有 抑制有效 wearer response，也没有恶化 yield。

Dense 10-horizon AP/mAP 用于与 EgoSpeak 比较，但不是唯一 headline。

5. 最终只保留三个贡献

1. Adaptation gap：明确通用 Omni 表示与 causal egocentric floor forecasting 之间的 temporal-role mismatch。
2. Method：提出 wearer-relative causal adapter，将长时 Omni context 与短时局部 AV floor evidence 结合。
3. Evidence：用严格因果的对齐干预和 competing-risk event evaluation 证明收益来自 timely local evidence，并改善实际 entry/yield 行为。

Oracle audit、LoRA 和事件协议分别是动机、baseline 和验证工具，不再各自占一个主贡献。

6. 必须降级或删除的内容

• LoRA 只作为 matched adaptation baseline，不做泛化的 LoRA 失败论文；
• oracle 只用于提出可恢复的信息上限，不能进入部署方法；
• track continuity 只有稳定超过 aggregate/no-ID/shuffled/broken-ID 后才成为贡献；
• 未通过 correct-person/correct-time 干预前不使用 speaker-grounded；
• 没有可靠标签时不主张 addressee、语义 EOT 或 INT；
• 多个 Omni 家族不是必要条件，优先做同族 3B/7B scaling 来回答“参数更大是否足够”；
• Ego4D 只报告标注真正支持的泛化结果；
• 正文只描述最终胜出的融合结构，其余候选放消融或不写。

7. Strong-accept 内部证据门槛

以下是项目内部 go/no-go 标准，不是 ICASSP 官方阈值：

1. learned local variant 在三种子上稳定超过 G+A 和参数匹配 temporal baseline；
2. 恢复一个有实际意义的 oracle gap 比例，暂以约 30%--50% 为内部目标；
3. 在 matched wearer-onset recall 下，third-party false entry/min 有清楚且带置信区间的下降， 暂以 15%--20% relative reduction 作为有说服力的内部目标；
4. valid entry/response recall 和 yield 不发生置信区间外的退化；
5. correct-time local evidence 明显优于 time-shift、remove-video 和容量匹配控制；
6. 至少一个规模控制表明简单增大 backbone 参数不能代替正确的适配结构；
7. 主结果至少三种子，并按 session/event 做 bootstrap；
8. competing-risk censoring、split、阈值和 calibration 全部在看正式 test 前冻结。

若只能得到约 +0.3 的 dense mean mAP、没有行为级改善，不应包装成强 Omni adaptation 论文。若真实 causal local branch 无法恢复 oracle gap，应先审计特征质量和时间对齐；仍不 成立则转向更可证实的问题，而不是继续堆 adapter。

8. 四页稿件结构

• Introduction，约 0.6--0.7 页：问题、专用模型背景、temporal-role mismatch、方法与 三项贡献。Related work 融入此处。
• Method，约 1.0 页：严格因果任务、global/short-local decomposition、wearer-relative fusion、训练目标。
• Experiments，约 1.8 页：数据协议、主表、关键消融和事件结果。
• Conclusion，约 0.2 页。

正文只需一张方法图、一个主结果表和一个紧凑消融表。

9. 推荐标题与最终结论

若双时间尺度实现和消融成立：

Is It My Turn? Dual-Rate Adaptation of Omni Models for Causal Egocentric Floor Forecasting

若最终只有局部 evidence residual 成立：

Is It My Turn? Causal Local Evidence Adaptation for Egocentric Omni Models

最终希望证实的结论是：

Scaling multimodal capacity alone does not solve egocentric turn-taking. Reliable floor control requires explicitly routing short-term observations of visible interlocutors into a role-relative prediction for the invisible wearer.

这个结论只有在 learned causal method、错时/容量控制和冻结后的事件指标共同通过后才能写入 摘要。