diff --git a/PROJECT_CONTEXT.md b/PROJECT_CONTEXT.md index df8b343..a749fb3 100644 --- a/PROJECT_CONTEXT.md +++ b/PROJECT_CONTEXT.md @@ -20,6 +20,7 @@ recall, without hurting addressed responses or yield behavior. | Need | Authoritative file | |---|---| +| ICASSP submission story, pruning and acceptance evidence bar | [docs/icassp2027_acceptance_storyline_2026-09-10.md](docs/icassp2027_acceptance_storyline_2026-09-10.md) | | Current paper thesis and claim boundary | [docs/global_local_omni_paper_position_2026-09-07.md](docs/global_local_omni_paper_position_2026-09-07.md) | | Progressive feature-fusion implementation route | [docs/progressive_feature_fusion_route_2026-09-02.md](docs/progressive_feature_fusion_route_2026-09-02.md) | | Current hypotheses, experiment gates and stopping rules | [`docs/omni_speaker_floor_experiment_plan_2026-08-30.md`](docs/omni_speaker_floor_experiment_plan_2026-08-30.md) | diff --git a/docs/README.md b/docs/README.md index 8f0e3ea..04bc017 100644 --- a/docs/README.md +++ b/docs/README.md @@ -7,6 +7,7 @@ implemented or validated. | Document | Role | |---|---| +| [icassp2027_acceptance_storyline_2026-09-10.md](icassp2027_acceptance_storyline_2026-09-10.md) | Submission-focused paper story, evidence bar, pruning decisions and go/no-go criteria | | [global_local_omni_paper_position_2026-09-07.md](global_local_omni_paper_position_2026-09-07.md) | Evidence-backed paper thesis after the causal oracle information screen | | [progressive_feature_fusion_route_2026-09-02.md](progressive_feature_fusion_route_2026-09-02.md) | Gated route from pooled local evidence to Frame-set Attention, temporal person memory and Thinker adapters | | [`omni_speaker_floor_experiment_plan_2026-08-30.md`](omni_speaker_floor_experiment_plan_2026-08-30.md) | Current hypotheses, experiment gates, main table and stopping rules | diff --git a/docs/icassp2027_acceptance_storyline_2026-09-10.md b/docs/icassp2027_acceptance_storyline_2026-09-10.md new file mode 100644 index 0000000..01cc101 --- /dev/null +++ b/docs/icassp2027_acceptance_storyline_2026-09-10.md @@ -0,0 +1,195 @@ +# ICASSP 2027 投稿主线与通过标准(2026-09-10) + +状态:论文战略决策记录,不是实验结果。本文用于约束后续实验、方法选择和稿件取舍; +代码、测试和不可变结果记录仍是实现与数值的依据。 + +## 1. 最终应回答的一个问题 + +论文不以“更大的 Omni 模型替换较小的专用模型”为主张。建议收敛为: + +> 通用 Omni 模型擅长理解多模态场景,却不天然适合第一视角下的亚秒级 floor control; +> 如何把长时全局 Omni context 与及时、角色相对的局部视听 floor evidence 结合,使模型 +> 判断不可见 wearer 何时进入或让出 floor? + +英文工作命题: + +> General-purpose Omni models are multimodally capable but not automatically +> task-sufficient: causal egocentric floor prediction requires explicit access +> to wearer-relative, short-term audiovisual floor evidence. + +研究价值不来自参数量本身,而来自 foundation-model capability 与实时 interaction-control +capability 之间的适配问题。 + +## 2. 第一性原理分解 + +一个 conversational agent 决定是否开口,需要: + +1. 理解对话、场景和长时上下文; +2. 判断周围的 floor 是否仍被其他人占据或正在释放; +3. 判断潜在机会是否属于自己,并在数百毫秒内采取行动。 + +Omni 预训练主要服务于第一步。第二、三步具有明显的任务结构: + +- 预测主体是摄像机后的 wearer,视觉上不可见; +- 可见人物是推断 wearer 行为的条件证据,而不是输出候选人; +- other-to-other handover 不等于 wearer 获得开口机会; +- wearer 的头部/摄像机运动与自身行为耦合; +- 决策是严格因果、连续、多 horizon 的,而不是 turn boundary 上的离线分类; +- entry 与 yield 是受 wearer 当前状态制约的不同决策情形。 + +因此,论文的科学问题不是“Omni 是否理解对话”,而是“通用理解表示如何转化为 +wearer-relative 的实时 floor decision”。 + +## 3. ICASSP 审稿视角下的取舍 + +ICASSP 2027 官方审稿维度包括 importance/relevance、novelty/originality、technical +correctness、experimental validation、prior work 和 clarity。常规稿只有四页正文,第五页 +仅可放参考文献。因此一篇稿不能并列承载 Omni survey、LoRA 分析、oracle audit、track +model、多个 adapter 和新评测六条主线。 + +- **重要性**:Omni agent 的安全、自然 floor control 有明确价值。 +- **新颖性**:仅使用 Qwen/LoRA 很弱;由 egocentric role mismatch 导出的适配结构更强。 +- **正确性**:严格因果和 competing-risk event attribution 是硬门槛。 +- **验证充分性**:必须有 learned method、三种子、容量/错时控制和行为级指标。 +- **清晰度**:正文只保留一个最终方法和一个中心结论。 + +官方依据: + +- [ICASSP 2027 editorial policies](https://2027.ieeeicassp.org/about/editorial-policies/) +- [ICASSP 2027 paper submission instructions](https://2027.ieeeicassp.org/paper-submission-instructions/) + +按当前研究状态,直接投稿仍会是 borderline/weak reject:oracle 信息价值已出现,但 +learned local method 尚未恢复该增益,事件 evaluator 尚未冻结,最终架构也未确定。 + +## 4. 最简、最强的故事线 + +### Act 1:Omni 已能理解,但 floor timing 仍未解决 + +Omni/full-duplex 模型正在成为实时音视频 agent 的基础,但生成“说什么”和控制“何时说” +不是同一问题。本文研究后者。 + +### Act 2:专用模型的优势来自任务归纳偏置,而非单纯规模 + +VAP 显式预测未来 voice activity;EgoSpeak 定义第一视角、在线、连续 wearer activity +forecasting;MM-VAP/MuVAP 显式保存 gaze、active-speaker 和 visible-speaker structure。 +它们是现代 task-specific predictive systems,不能称为“传统方法”。 + +### Act 3:naive Omni adaptation 暴露 temporal-role mismatch + +Frozen readout 和受控 LoRA 用作诊断基线。若它们不能稳定超过专用基线,结论只能限定为: +当前 backbone/readout/recipe 未显式解决亚秒级时间线索和不可见 wearer 的角色不对称, +不能泛化为“所有 Omni 无法适配”。 + +### Act 4:oracle 与干预定位 evidence-access bottleneck + +当前 seed-0 oracle screen 显示,及时的 `aggregate-visible` activity 相对 matched audio +baseline 提高 0.2 秒 mAP `+6.96649`、十 horizon mean mAP `+2.91047`;visibility-only 和 +延迟一秒的 activity 接近 audio;per-person 与 shuffled identity 不分离。 + +该证据支持: + +> 全局 Omni readout 没有向预测头充分暴露及时的 visible-other floor activity。 + +它不支持 speaker identity、track continuity、addressee understanding 或一般性的 Omni +能力缺失。 + +### Act 5:用一个角色相对、双时间尺度 adapter 解决问题 + +候选最终方法应尽量简单: + +```text +long-context causal Omni state -------------------+ + +--> residual fusion --> 10 x 3 future activity +short-window causal audio + visible-person set ---+ + conditioned by wearer state +``` + +- 慢/全局路径保留场景、语义和长时对话信息; +- 快/局部路径保存最近约 0.5--1 秒的 prosody 和 visible-person floor activity; +- 人物集合使用共享编码器、mask、permutation-invariant aggregation 和 NULL/OFFSCREEN; +- wearer silent/active 状态用于区分 entry/yield 情形; +- 输出继续遵守 EgoSpeak-compatible `10 x 3` 契约; +- 最终称为层间注入还是旁路 residual,由受控结果决定,而不是预先绑定故事。 + +方法的解释统一为 **local floor-evidence routing**,而不是泛泛的“增加特征多样性”。 + +### Act 6:行为级结果闭环 + +论文最重要的结果应是: + +> 在相同 valid wearer-onset recall 下,模型更少打断 other-to-other exchange,同时没有 +> 抑制有效 wearer response,也没有恶化 yield。 + +Dense 10-horizon AP/mAP 用于与 EgoSpeak 比较,但不是唯一 headline。 + +## 5. 最终只保留三个贡献 + +1. **Adaptation gap**:明确通用 Omni 表示与 causal egocentric floor forecasting 之间的 + temporal-role mismatch。 +2. **Method**:提出 wearer-relative causal adapter,将长时 Omni context 与短时局部 AV + floor evidence 结合。 +3. **Evidence**:用严格因果的对齐干预和 competing-risk event evaluation 证明收益来自 + timely local evidence,并改善实际 entry/yield 行为。 + +Oracle audit、LoRA 和事件协议分别是动机、baseline 和验证工具,不再各自占一个主贡献。 + +## 6. 必须降级或删除的内容 + +- LoRA 只作为 matched adaptation baseline,不做泛化的 LoRA 失败论文; +- oracle 只用于提出可恢复的信息上限,不能进入部署方法; +- track continuity 只有稳定超过 aggregate/no-ID/shuffled/broken-ID 后才成为贡献; +- 未通过 correct-person/correct-time 干预前不使用 speaker-grounded; +- 没有可靠标签时不主张 addressee、语义 EOT 或 INT; +- 多个 Omni 家族不是必要条件,优先做同族 3B/7B scaling 来回答“参数更大是否足够”; +- Ego4D 只报告标注真正支持的泛化结果; +- 正文只描述最终胜出的融合结构,其余候选放消融或不写。 + +## 7. Strong-accept 内部证据门槛 + +以下是项目内部 go/no-go 标准,不是 ICASSP 官方阈值: + +1. learned local variant 在三种子上稳定超过 `G+A` 和参数匹配 temporal baseline; +2. 恢复一个有实际意义的 oracle gap 比例,暂以约 30%--50% 为内部目标; +3. 在 matched wearer-onset recall 下,third-party false entry/min 有清楚且带置信区间的下降, + 暂以 15%--20% relative reduction 作为有说服力的内部目标; +4. valid entry/response recall 和 yield 不发生置信区间外的退化; +5. correct-time local evidence 明显优于 time-shift、remove-video 和容量匹配控制; +6. 至少一个规模控制表明简单增大 backbone 参数不能代替正确的适配结构; +7. 主结果至少三种子,并按 session/event 做 bootstrap; +8. competing-risk censoring、split、阈值和 calibration 全部在看正式 test 前冻结。 + +若只能得到约 `+0.3` 的 dense mean mAP、没有行为级改善,不应包装成强 Omni adaptation +论文。若真实 causal local branch 无法恢复 oracle gap,应先审计特征质量和时间对齐;仍不 +成立则转向更可证实的问题,而不是继续堆 adapter。 + +## 8. 四页稿件结构 + +- **Introduction,约 0.6--0.7 页**:问题、专用模型背景、temporal-role mismatch、方法与 + 三项贡献。Related work 融入此处。 +- **Method,约 1.0 页**:严格因果任务、global/short-local decomposition、wearer-relative + fusion、训练目标。 +- **Experiments,约 1.8 页**:数据协议、主表、关键消融和事件结果。 +- **Conclusion,约 0.2 页**。 + +正文只需一张方法图、一个主结果表和一个紧凑消融表。 + +## 9. 推荐标题与最终结论 + +若双时间尺度实现和消融成立: + +> **Is It My Turn? Dual-Rate Adaptation of Omni Models for Causal Egocentric +> Floor Forecasting** + +若最终只有局部 evidence residual 成立: + +> **Is It My Turn? Causal Local Evidence Adaptation for Egocentric Omni Models** + +最终希望证实的结论是: + +> Scaling multimodal capacity alone does not solve egocentric turn-taking. +> Reliable floor control requires explicitly routing short-term observations +> of visible interlocutors into a role-relative prediction for the invisible +> wearer. + +这个结论只有在 learned causal method、错时/容量控制和冻结后的事件指标共同通过后才能写入 +摘要。