# ICASSP 2027 投稿主线与通过标准（2026-09-10）

状态：论文战略决策记录，不是实验结果。本文用于约束后续实验、方法选择和稿件取舍；
代码、测试和不可变结果记录仍是实现与数值的依据。

## 1. 最终应回答的一个问题

论文不以“更大的 Omni 模型替换较小的专用模型”为主张。建议收敛为：

> 通用 Omni 模型擅长理解多模态场景，却不天然适合第一视角下的亚秒级 floor control；
> 如何把长时全局 Omni context 与及时、角色相对的局部视听 floor evidence 结合，使模型
> 判断不可见 wearer 何时进入或让出 floor？

英文工作命题：

> General-purpose Omni models are multimodally capable but not automatically
> task-sufficient: causal egocentric floor prediction requires explicit access
> to wearer-relative, short-term audiovisual floor evidence.

研究价值不来自参数量本身，而来自 foundation-model capability 与实时 interaction-control
capability 之间的适配问题。

## 2. 第一性原理分解

一个 conversational agent 决定是否开口，需要：

1. 理解对话、场景和长时上下文；
2. 判断周围的 floor 是否仍被其他人占据或正在释放；
3. 判断潜在机会是否属于自己，并在数百毫秒内采取行动。

Omni 预训练主要服务于第一步。第二、三步具有明显的任务结构：

- 预测主体是摄像机后的 wearer，视觉上不可见；
- 可见人物是推断 wearer 行为的条件证据，而不是输出候选人；
- other-to-other handover 不等于 wearer 获得开口机会；
- wearer 的头部/摄像机运动与自身行为耦合；
- 决策是严格因果、连续、多 horizon 的，而不是 turn boundary 上的离线分类；
- entry 与 yield 是受 wearer 当前状态制约的不同决策情形。

因此，论文的科学问题不是“Omni 是否理解对话”，而是“通用理解表示如何转化为
wearer-relative 的实时 floor decision”。

## 3. ICASSP 审稿视角下的取舍

ICASSP 2027 官方审稿维度包括 importance/relevance、novelty/originality、technical
correctness、experimental validation、prior work 和 clarity。常规稿只有四页正文，第五页
仅可放参考文献。因此一篇稿不能并列承载 Omni survey、LoRA 分析、oracle audit、track
model、多个 adapter 和新评测六条主线。

- **重要性**：Omni agent 的安全、自然 floor control 有明确价值。
- **新颖性**：仅使用 Qwen/LoRA 很弱；由 egocentric role mismatch 导出的适配结构更强。
- **正确性**：严格因果和 competing-risk event attribution 是硬门槛。
- **验证充分性**：必须有 learned method、三种子、容量/错时控制和行为级指标。
- **清晰度**：正文只保留一个最终方法和一个中心结论。

官方依据：

- [ICASSP 2027 editorial policies](https://2027.ieeeicassp.org/about/editorial-policies/)
- [ICASSP 2027 paper submission instructions](https://2027.ieeeicassp.org/paper-submission-instructions/)

按当前研究状态，直接投稿仍会是 borderline/weak reject：oracle 信息价值已出现，但
learned local method 尚未恢复该增益，事件 evaluator 尚未冻结，最终架构也未确定。

## 4. 最简、最强的故事线

### Act 1：Omni 已能理解，但 floor timing 仍未解决

Omni/full-duplex 模型正在成为实时音视频 agent 的基础，但生成“说什么”和控制“何时说”
不是同一问题。本文研究后者。

### Act 2：专用模型的优势来自任务归纳偏置，而非单纯规模

VAP 显式预测未来 voice activity；EgoSpeak 定义第一视角、在线、连续 wearer activity
forecasting；MM-VAP/MuVAP 显式保存 gaze、active-speaker 和 visible-speaker structure。
它们是现代 task-specific predictive systems，不能称为“传统方法”。

### Act 3：naive Omni adaptation 暴露 temporal-role mismatch

Frozen readout 和受控 LoRA 用作诊断基线。若它们不能稳定超过专用基线，结论只能限定为：
当前 backbone/readout/recipe 未显式解决亚秒级时间线索和不可见 wearer 的角色不对称，
不能泛化为“所有 Omni 无法适配”。

### Act 4：oracle 与干预定位 evidence-access bottleneck

当前 seed-0 oracle screen 显示，及时的 `aggregate-visible` activity 相对 matched audio
baseline 提高 0.2 秒 mAP `+6.96649`、十 horizon mean mAP `+2.91047`；visibility-only 和
延迟一秒的 activity 接近 audio；per-person 与 shuffled identity 不分离。

该证据支持：

> 全局 Omni readout 没有向预测头充分暴露及时的 visible-other floor activity。

它不支持 speaker identity、track continuity、addressee understanding 或一般性的 Omni
能力缺失。

### Act 5：用一个角色相对、双时间尺度 adapter 解决问题

候选最终方法应尽量简单：

```text
long-context causal Omni state -------------------+
                                                   +--> residual fusion --> 10 x 3 future activity
short-window causal audio + visible-person set ---+
                         conditioned by wearer state
```

- 慢/全局路径保留场景、语义和长时对话信息；
- 快/局部路径保存最近约 0.5--1 秒的 prosody 和 visible-person floor activity；
- 人物集合使用共享编码器、mask、permutation-invariant aggregation 和 NULL/OFFSCREEN；
- wearer silent/active 状态用于区分 entry/yield 情形；
- 输出继续遵守 EgoSpeak-compatible `10 x 3` 契约；
- 最终称为层间注入还是旁路 residual，由受控结果决定，而不是预先绑定故事。

方法的解释统一为 **local floor-evidence routing**，而不是泛泛的“增加特征多样性”。

### Act 6：行为级结果闭环

论文最重要的结果应是：

> 在相同 valid wearer-onset recall 下，模型更少打断 other-to-other exchange，同时没有
> 抑制有效 wearer response，也没有恶化 yield。

Dense 10-horizon AP/mAP 用于与 EgoSpeak 比较，但不是唯一 headline。

## 5. 最终只保留三个贡献

1. **Adaptation gap**：明确通用 Omni 表示与 causal egocentric floor forecasting 之间的
   temporal-role mismatch。
2. **Method**：提出 wearer-relative causal adapter，将长时 Omni context 与短时局部 AV
   floor evidence 结合。
3. **Evidence**：用严格因果的对齐干预和 competing-risk event evaluation 证明收益来自
   timely local evidence，并改善实际 entry/yield 行为。

Oracle audit、LoRA 和事件协议分别是动机、baseline 和验证工具，不再各自占一个主贡献。

## 6. 必须降级或删除的内容

- LoRA 只作为 matched adaptation baseline，不做泛化的 LoRA 失败论文；
- oracle 只用于提出可恢复的信息上限，不能进入部署方法；
- track continuity 只有稳定超过 aggregate/no-ID/shuffled/broken-ID 后才成为贡献；
- 未通过 correct-person/correct-time 干预前不使用 speaker-grounded；
- 没有可靠标签时不主张 addressee、语义 EOT 或 INT；
- 多个 Omni 家族不是必要条件，优先做同族 3B/7B scaling 来回答“参数更大是否足够”；
- Ego4D 只报告标注真正支持的泛化结果；
- 正文只描述最终胜出的融合结构，其余候选放消融或不写。

## 7. Strong-accept 内部证据门槛

以下是项目内部 go/no-go 标准，不是 ICASSP 官方阈值：

1. learned local variant 在三种子上稳定超过 `G+A` 和参数匹配 temporal baseline；
2. 恢复一个有实际意义的 oracle gap 比例，暂以约 30%--50% 为内部目标；
3. 在 matched wearer-onset recall 下，third-party false entry/min 有清楚且带置信区间的下降，
   暂以 15%--20% relative reduction 作为有说服力的内部目标；
4. valid entry/response recall 和 yield 不发生置信区间外的退化；
5. correct-time local evidence 明显优于 time-shift、remove-video 和容量匹配控制；
6. 至少一个规模控制表明简单增大 backbone 参数不能代替正确的适配结构；
7. 主结果至少三种子，并按 session/event 做 bootstrap；
8. competing-risk censoring、split、阈值和 calibration 全部在看正式 test 前冻结。

若只能得到约 `+0.3` 的 dense mean mAP、没有行为级改善，不应包装成强 Omni adaptation
论文。若真实 causal local branch 无法恢复 oracle gap，应先审计特征质量和时间对齐；仍不
成立则转向更可证实的问题，而不是继续堆 adapter。

## 8. 四页稿件结构

- **Introduction，约 0.6--0.7 页**：问题、专用模型背景、temporal-role mismatch、方法与
  三项贡献。Related work 融入此处。
- **Method，约 1.0 页**：严格因果任务、global/short-local decomposition、wearer-relative
  fusion、训练目标。
- **Experiments，约 1.8 页**：数据协议、主表、关键消融和事件结果。
- **Conclusion，约 0.2 页**。

正文只需一张方法图、一个主结果表和一个紧凑消融表。

## 9. 推荐标题与最终结论

若双时间尺度实现和消融成立：

> **Is It My Turn? Dual-Rate Adaptation of Omni Models for Causal Egocentric
> Floor Forecasting**

若最终只有局部 evidence residual 成立：

> **Is It My Turn? Causal Local Evidence Adaptation for Egocentric Omni Models**

最终希望证实的结论是：

> Scaling multimodal capacity alone does not solve egocentric turn-taking.
> Reliable floor control requires explicitly routing short-term observations
> of visible interlocutors into a role-relative prediction for the invisible
> wearer.

这个结论只有在 learned causal method、错时/容量控制和冻结后的事件指标共同通过后才能写入
摘要。

## 10. 2026-09-10 manuscript 对齐决策

对 `manuscript/main/main.tex` 的逐段审查发现并记录以下冲突；稿件骨架已据此收缩：

1. 标题只写 `floor-entry`，正文却同时主张 entry/yield，统一改为更宽的 floor
   forecasting；在 same-rate 对照通过前不在标题使用 `dual-rate`。
2. 单种子 oracle 不再充当摘要 headline；最终摘要必须以 learned method 和行为级结果为
   主体。
3. gap 从“Omni 尚未用于这一任务组合”改为 global semantic representation 与 sub-second
   wearer-relative floor evidence 之间的 temporal--role mismatch。
4. 四项并列贡献压缩为 adaptation mismatch、一个 local adapter、causal behavioral
   evidence 三项；LoRA/oracle/event protocol 分别降为 baseline、动机和验证。
5. 主方法不再预设 track-GRU/identity continuity，改为匿名、no-ID 的短时 visible-person
   set；track 只有超过 no-ID/shuffled/capacity controls 后才恢复。
6. wearer current state 默认只用于 entry/yield event interpretation。若作为模型输入，必须
   先定义严格因果且部署可得的来源，并加入 no-state 对照。
7. Qwen2.5-Omni-3B 为主 backbone，7B 仅作参数规模控制；MiniCPM-o 和跨家族 sweep 从四页
   主线删除。
8. Introduction 不得把尚未实现的 competing-risk censoring 写成已完成；P0 evaluator、测试
   和人工时间轴是正式事件结论的硬门槛。
9. 已查看的 Sessions 1--3 单种子 exploratory pooled-vision 表从投稿骨架删除，不用于模型
   选择或 confirmatory claim。
10. 最终只保留一个主结果表和一个机制消融表；oracle table、conditional track table 和
    候选方法树不得并列占据正文。
11. Conclusion 必须报告最终 learned method、matched-recall false-entry、onset/yield 和
    causal controls；若这些证据未通过，改写为 information audit 或停止方法型投稿。

当前 `manuscript/main/main.tex` 是带显式 TODO 的内容骨架。TODO 表示未实现、未冻结或未测量，
不得被引用为项目当前能力或实验结论。