docs: define speaker-grounded floor experiment plan

README.md

@@ -1,8 +1,45 @@
-# Omni-only Turn-Taking Experiment
+# Speaker-Grounded Omni Floor-State Forecasting
 
-This project tests whether **Qwen2.5-Omni-3B can replace both the handcrafted
-audio/visual feature extractors and the downstream RNN/Transformer used by
-EgoSpeak** for egocentric turn-taking anticipation.
+This project studies whether a strictly causal, end-to-end pretrained
+**Qwen2.5-Omni-3B** backbone contains speaker-grounded audiovisual evidence,
+and whether that evidence can improve the **floor-entry and floor-yield
+actions of an invisible egocentric wearer** in natural multiparty
+conversations.
+
+Replacing EgoSpeak's handcrafted encoders and downstream GRU/Transformer is
+retained as a Stage-0 representation baseline. It is no longer the final paper
+question. The central test is behavioral: at matched wearer-onset recall,
+correct person-aligned vision should reduce false wearer entries while two
+other people are conversing, without reducing responses addressed to the
+wearer or degrading wearer yield decisions.
+
+## Current paper question and experiment plan (2026-08-30)
+
+The full staged plan is in
+[the Omni speaker-floor experiment plan](docs/omni_speaker_floor_experiment_plan_2026-08-30.md).
+It separates four questions that must not be conflated:
+
+1. Does a frozen global Omni state encode aggregate wearer/others activity?
+2. Can Omni features identify **which visible person** is speaking, rather
+   than merely detect that somebody is speaking?
+3. Does anonymous person-wise causal fusion reduce third-party false entries
+   at matched wearer onset recall?
+4. Does any suppression preserve addressed-to-wearer response recall/latency
+   and wearer yield behavior, rather than making the model globally passive?
+
+The immediate order is: freeze the event protocol and competing-risk
+attribution; run speaker-grounding probes and wrong-person/time-shift controls;
+re-evaluate `G`, `G+A`, and `G+A+pooled-V`; then train an anonymous person-wise
+causal side branch. A person-memory adapter or Thinker LoRA is a second-stage
+experiment only after the simpler branch passes those diagnostic gates.
+
+The literature boundary and novelty threats are recorded in
+[the multiparty egocentric floor gap audit](docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md).
+The precise target is the intersection of egocentric wearer action, strict
+causality, speaker/addressee grounding, both entry and yield, and event-level
+evaluation. This repository does **not** claim the first multiparty AV
+turn-taking system, the first online multiparty EOT detector, or that a frozen
+Omni backbone is task-level end-to-end training.
 
 The persistent paper index and Chinese summaries are maintained in
 [literature_notes](literature_notes/README.md).
@@ -22,7 +59,7 @@ horizon curves are archived in
 It keeps causal-valid summaries separate from full-timeline curves and records
 the head-capacity/context caveats for comparisons with G+A and G+A+V.
 
-The next research plan is
+The earlier engineering plan is
 [speaker-aware Thinker and wearer-transition evaluation](docs/speaker_aware_thinker_plan_2026-08-28.md)
 (2026-08-28): person-organized video chunks, frozen-Thinker local-evidence
 interventions, and onset/offset plus third-party-conversation diagnostics.
@@ -34,7 +71,7 @@ Thinker LoRA on 8×L20, with matched-onset-recall false-entry evaluation and
 addressee-specific safeguards. It also records related-work and input-permission
 limits; none of these new variants has been implemented or measured yet.
 
-The main experiment is deliberately simple:
+The Stage-0 representation experiment is deliberately simple:
 
 ```text
 causal audio + video up to time t
@@ -51,9 +88,11 @@ causal audio + video up to time t
   future logits [10 horizons, 3 classes]
 ```
 
-There is **no RNN after Qwen**. The Omni Thinker is the temporal model. The
-only supervised component in the first experiment is a small `10 x 3`
-classification head.
+There is **no RNN after Qwen in this Stage-0 baseline**. The Omni Thinker is
+its temporal model, and its only supervised component is a small `10 x 3`
+classification head. Later person-wise GRU/TCN branches and local-memory
+adapters are controlled methods for testing speaker grounding; they do not
+change what the Stage-0 result measures.
 
 ## Current status
 
@@ -66,6 +105,8 @@ classification head.
 | `TurnPredictionHead` | Trained and evaluated | Map `[2048]` to `[10, 3]` logits |
 | `train_turn_head.py` | Verified on EasyCom | Train the frozen-Omni anticipation head with the official EasyCom split |
 | `infer_turn_head.py` | Verified on EasyCom | Save EgoSpeak-format predictions and reproduce per-horizon AP/mAP |
+| `extract_turn_local_features.py` | Verified on EasyCom; Ego4D extraction in progress | Extract person-crop and recent-audio Qwen sidecars |
+| `evaluate_floor_state_changes.py` | Implemented; attribution revision required | Diagnose wearer entry/yield events from saved predictions |
 | `eval_omni_turn_lora.py` | Implemented, remote validation pending | Evaluate Thinker LoRA from dense AV caches with the same AP/mAP protocol |
 
 The full Thinker input path, embedded audio, direct video decoding,
@@ -1687,28 +1728,40 @@ Reference Table 2 targets from the EgoSpeak paper:
 Do not compare these numbers with EgoSpeak Table 3 target-speaker-only AP;
 Table 3 uses a different metric.
 
-## Experiments that demonstrate Omni's semantic advantage
+## Current paper experiment ladder
 
-The headline comparison alone cannot establish that improvements come from
-semantics. Run the following controlled experiments:
+The headline comparison cannot establish speaker grounding or social
+understanding. Experiments therefore proceed through explicit gates:
 
-1. **Omni audio vs Omni audio+video**: measure whether visual grounding helps.
-2. **Per-horizon curve**: semantic completion should be especially visible at
-   longer horizons such as 1.2--2.0 seconds.
-3. **Context length**: compare 4, 10, 15, and 20 seconds without adding an RNN.
-4. **Layer ablation**: compare audio-encoder output and several Thinker layers,
-   because an intermediate layer may be more discriminative than the final
-   generation-oriented layer.
-5. **Semantic-completion subset**: contrast completed utterances with
-   hesitation/incomplete pauses while matching pause duration and basic
-   prosody as closely as possible.
-6. **Question/statement/backchannel subsets**: report target-speaker AP and
-   premature-interruption rate on linguistically meaningful events.
-7. **Causal transcript baseline**: compare Omni audio with causal ASR text plus
-   a language model to isolate lexical/semantic contribution.
+1. **P0 — protocol correctness:** preserve physical 5 Hz timing and causal
+   masks, then prevent an other-offset response from being attributed after a
+   new other onset (and symmetrically censor yield after the next other
+   offset). Freeze scenario rules without tuning on EasyCom test Sessions 1--3.
+2. **P1 — representation diagnosis:** compare EgoSpeak features, Qwen
+   encoder-only A/V/AV, the global Thinker state, and anonymous person slots on
+   aggregate activity and per-person active-speaker probes. Include wrong-person,
+   time-shifted, visual-only, and audio-only controls.
+3. **P2 — behavioral baselines:** evaluate `G`, `G+A`, `G+A+pooled-V`, shuffled
+   visual features, and a parameter/history-matched temporal control using
+   entry/yield event AP and third-party false entries at matched onset recall.
+4. **P3 — primary method:** use a shared causal person encoder plus
+   wearer-state-conditioned attention, then ablate per-person active-speaker,
+   addressee, and wearer event supervision.
+5. **P4 — Omni adaptation ceiling:** compare parameter-matched Thinker LoRA,
+   local person-memory adapters, and adapter+LoRA only if person features pass
+   P1 and improve floor behavior in P3.
 
-The frozen-Omni head is the cleanest representation test. LoRA can be reported
-as a second-stage ceiling, not as the only result.
+Original 0.2--2.0-second EgoSpeak AP/mAP remains a secondary comparability
+metric. The primary paper evidence is selective behavior: correct person
+alignment must reduce false wearer entry during third-party conversation while
+preserving addressed response and yield. Full hypotheses, tables, stopping
+rules, and the 8×L20 execution order are in
+[the current experiment plan](docs/omni_speaker_floor_experiment_plan_2026-08-30.md).
+
+Secondary semantic analyses can still include context/layer ablations,
+completed-versus-hesitation subsets, question/statement/backchannel subsets,
+and a causal ASR-text baseline. They support interpretation but cannot replace
+the person-alignment interventions above.
 
 ## Transcript-derived interaction-event proxies
 
@@ -2125,7 +2178,7 @@ Do not launch full EasyCom/Ego4D extraction until all of these pass:
 - test session IDs never enter training, validation, normalization statistics,
   or hyperparameter selection.
 
-Once these checks pass, the first publishable experiment is:
+Once these checks pass, the historical Stage-0 representation baseline is:
 
 ```text
 frozen Qwen2.5-Omni-3B Thinker
@@ -2136,4 +2189,5 @@ frozen Qwen2.5-Omni-3B Thinker
 + exact EgoSpeak split and Table 2 metric
 ```
 
-Repository workflow verified on 2026-08-19.
+The repository workflow was first verified on 2026-08-19. The paper question
+and gated experiment plan were revised on 2026-08-30.

docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md

@@ -0,0 +1,104 @@
+# 多方第一视角 AV wearer floor-state prediction：文献 gap 审计
+
+日期：2026-08-30。状态：顶会与 arXiv 文献检索后的研究定位；不是实验结论。
+
+## 1. 结论
+
+截至核查日期，**宽泛的“多方音视频轮次预测”已经不是 research gap**，
+“第一视角 when-to-speak”“在线多方 EOT”“逐人音视频 conversational graph”也都有直接先例。
+
+仍然可信、但必须精确定义的空白是：
+
+> 从单个第一视角、严格因果的音视频流中，利用逐人说话人 grounding，预测不可见
+> camera wearer 自身的 floor-entry（OFF→ON）与 floor-yield（ON→OFF）行为，并在自然多方
+> 对话中以事件级召回、误触发和延迟评测其表现。
+
+本轮没有找到一项工作同时满足以下六点：
+
+1. 自然多方对话，而非固定双人；
+2. 单个 wearer 的第一视角输入，而非静态第三人称、多视角同步设备或每人独立传感器；
+3. 原始、连续、严格因果的音视频观测；
+4. 预测主体是画面中不可见的 wearer 自身；
+5. 同时研究 wearer 开口与停口/让出 floor，而非只做当前活动、next speaker 或 EOT；
+6. 逐人/讲话对象条件化，并用事件级 recall、false-trigger 与 latency 评价。
+
+“没有找到同时满足”只限于本次检索范围，不能在论文中写成不受限定的绝对结论。
+
+## 2. 关键工作的覆盖边界
+
+| 工作 | 已覆盖 | 相对本项目缺少什么 |
+|---|---|---|
+| [EgoSpeak, Findings of NAACL 2025](https://aclanthology.org/2025.findings-naacl.163/) | 第一视角、在线 AV、EasyCom/Ego4D、预测 wearer 未来活动 | 将所有 others 合并为一类；三路未来逐帧分类，不显式建模逐人关系、wearer yield 或事件级误触发 |
+| [3M-Transformer, ICASSP 2024](https://arxiv.org/pdf/2310.14859) | 多方、AVT、egocentric、预测 1/3/5/10s 后 next speaker | 使用至少两个参与者的同步穿戴视角及预计算文本；不是单 wearer 原始流，也不是 200ms start/yield 事件 |
+| [AV-CONV, CVPR 2024](https://openaccess.thecvf.com/content/CVPR2024/html/Jia_The_Audio-Visual_Conversational_Graph_From_an_Egocentric-Exocentric_Perspective_CVPR_2024_paper.html) | 第一视角、多方、逐人 speaking/listening graph、局部头部和多通道音频 | 主要识别 clip 内各时刻的当前 conversational graph，不是严格因果的未来 wearer action forecast |
+| [Online Multimodal EOT, ICMI 2024](https://graphics.cs.uh.edu/wp-content/papers/2024/2024-ICMI-OnlineTurnPrediction.pdf) | 三人、在线 EOT、overlap/interruption、文本/韵律/视线 | 受控实验室，使用 mocap、眼动仪和独立麦克风；不是自然单 wearer 第一视角原始 AV，也不以 wearer start/yield 为动作目标 |
+| [Triadic VAP, Interspeech 2025](https://www.isca-archive.org/interspeech_2025/elmers25_interspeech.html) | 三方未来 voice activity projection | 纯音频、逐人通道、固定三人，不利用第一视角人物证据 |
+| [MuVAP, arXiv 2026](https://arxiv.org/pdf/2606.16731) | 因果、多方、单目、单声道、face grounding、未来 floor holder | 最强 novelty threat；数据明确采用静态第三方视角，预测可见参与者的 current/next speaker，不预测不可见 wearer 的 response/yield |
+| [Gaze-Enhanced Triadic Turn-Taking, Interspeech 2025](https://www.isca-archive.org/interspeech_2025/heo25_interspeech.html) | 三方、egocentric gaze、VAD、transition-level 分析 | 依赖专用眼动/空间传感器，目标为听觉辅助，不是普通第一视角 AV wearer action |
+| [TurnBench, arXiv 2026](https://arxiv.org/abs/2608.25218) | 严格因果 EOT/INT，recall/FPR/latency | 双人、纯音频；适合作为事件评测范式，不是同输入/任务的直接竞争者 |
+
+## 3. 最容易误写的新颖性声明
+
+以下说法不能使用：
+
+- “第一个多方 turn-taking 模型”；
+- “第一个多方音视频 turn-taking 模型”；
+- “第一个第一视角 when-to-speak 模型”；
+- “第一个在线多方 EOT 模型”；
+- “第一个逐人音视频 conversational graph”；
+- “第一个 speaker-aware causal AV floor model”。
+
+推荐使用带齐限定条件的表述：
+
+> To our knowledge, this is the first study of strictly causal, speaker-grounded
+> audiovisual forecasting of both floor-entry and floor-yield actions for an invisible
+> egocentric wearer in natural multiparty conversations.
+
+最终投稿前还应重新检索，并在正文紧接着解释 `single-egocentric-stream`、`invisible wearer`、
+`both entry and yield`、`speaker-grounded` 和 `event-level evaluation` 分别排除了哪些先例。
+
+## 4. 文献主线与必须引用的关系
+
+### 未来活动与轮次预测
+
+- [Voice Activity Projection, Interspeech 2022](https://www.isca-archive.org/interspeech_2022/ekstedt22_interspeech.html)：
+  未来联合语音活动及 shift/backchannel 基础。
+- [Triadic VAP, Interspeech 2025](https://www.isca-archive.org/interspeech_2025/elmers25_interspeech.html)：
+  将 VAP 扩展到固定三人逐通道输入。
+- [MuVAP, arXiv 2026](https://arxiv.org/abs/2606.16731)：
+  单摄像机、单声道、逐人 grounding 的因果多方预测，是方法比较中必须正面处理的工作。
+
+### 第一视角多方交互
+
+- [3M-Transformer, ICASSP 2024](https://arxiv.org/abs/2310.14859)：多视角 EgoCom 上的 next-speaker anticipation。
+- [AV-CONV, CVPR 2024](https://arxiv.org/abs/2312.12870)：从第一视角建立 wearer 与其他人的 speaking/listening graph。
+- [EgoSpeak, Findings of NAACL 2025](https://aclanthology.org/2025.findings-naacl.163/)：
+  与本项目最接近的数据、标签和 wearer future-activity 前身。
+
+### 事件评测与多人 MLLM 动机
+
+- [TurnBench](https://turnbench.sesame.com/)：EOT/INT 的事件级 recall、false-positive rate 和 latency。
+- [Multi-speaker Attention Alignment, CVPR 2026](https://openaccess.thecvf.com/content/CVPR2026/html/Ouyang_Multi-speaker_Attention_Alignment_for_Multimodal_Social_Interaction_CVPR_2026_paper.html)：
+  当前 MLLM 的说话人话语—视觉区域对齐短板。
+- [AMusE, CVPR 2026](https://openaccess.thecvf.com/content/CVPR2026/html/Chowdhury_AMusE_Audio-Visual_Benchmark_and_Alignment_Framework_for_Agentic_Multi-Speaker_Understanding_CVPR_2026_paper.html)：
+  多说话人身份、角色和跨时间 grounding 仍困难，为方法动机提供证据，但不是 floor-action 任务。
+- [SICNet, ICASSP 2024](https://www.amazon.science/publications/long-term-social-interaction-context-the-key-to-egocentric-addressee-detection)：
+  第一视角 talking-to-me/addressee 已有先例，不能把“讲话对象”本身写成首次提出。
+
+## 5. 对当前论文主线的约束
+
+gap 本身不足以形成 ICASSP 方法贡献。论文需要证明逐人视觉不是普通容量增益：
+
+1. 在相同 wearer onset recall 下，正确的逐人视觉减少其他人彼此交谈期间的 false entry；
+2. 对真正向 wearer 交接的场景，response recall 与 latency 不退化；
+3. wearer 已在说话时，对真实竞争性进入的 yield 预测改善；
+4. 正确人物/时间对齐优于人物打乱、时间错配、普通全图或等预算视觉控制；
+5. G、G+A、G+V、G+A+V 及 pooled/person-grounded fusion 使用相同训练和评测协议。
+
+方法上优先考虑 speaker-grounded、wearer-state-conditioned 的 entry/yield hazard heads 或
+逐人 AV 融合，而不是只增加一个普通池化旁路。TurnBench 风格事件评测应作为贡献之一，
+但不能替代方法增量。
+
+EasyCom 的逐人时间/框/讲话对象最适合验证“other→other 时不误开口”；Ego4D 可验证规模与
+泛化，但相同语义分层只能在 `is_at_me`、逐人轨迹和 voice segment 确认覆盖的样本上报告。
+只用 wearer 活动真值可以研究实际 start/yield，不能据此声称模型理解了 EOT、INT 或讲话意图。

docs/omni_speaker_floor_experiment_plan_2026-08-30.md

@@ -0,0 +1,262 @@
+# Omni 多人说话者理解与 wearer floor action：实验主线（2026-08-30）
+
+## 1. 论文真正要回答的问题
+
+本项目不再把“Qwen2.5-Omni 是否能替换 EgoSpeak 的 ResNet、wav2vec 和
+GRU/Transformer”作为最终主线。它只是一个 representation baseline。
+
+主问题应收敛为：
+
+> 严格因果的 Omni 模型是否真正编码了多人场景中的“谁在何时说话、话语是否面向
+> wearer”这类视听 grounding；把这种逐人证据加入预测后，能否使不可见的 camera
+> wearer 更合理地进入或让出话轮？
+
+最重要的可证伪目标是：
+
+> 在相同 wearer 开口事件召回率下，正确对齐的逐人视觉应减少 other↔other 交谈期间
+> 的错误开口预测；同时，不能降低对真正 addressed-to-wearer 接话事件的召回率，也
+> 不能恶化 wearer 正在讲话时的让话预测。
+
+这比“整体 mAP 提高”更能说明模型理解了多人交互，而不只是利用音量、静音和数据
+先验。
+
+## 2. 可以和不可以主张什么
+
+### 可以主张的研究空缺
+
+现有工作分别研究了 egocentric 未来说话状态、多人 EOT/VAP、视听对话图和说话者
+grounding，但它们尚未完整覆盖以下交集：
+
+- 单个 egocentric wearer 视角；
+- 严格因果的音频和视频；
+- wearer 本人通常不在画面中，却是需要预测行为的主体；
+- 同时评估进入话轮和让出话轮；
+- 使用逐人/对象指向的视觉证据；
+- 用事件召回、错误开口率和响应延迟，而不只用逐帧未来活动 mAP。
+
+更稳妥的论文表述是：
+
+> To our knowledge, this is the first study of strictly causal,
+> speaker-grounded audiovisual forecasting of both floor-entry and floor-yield
+> actions for an invisible egocentric wearer in natural multiparty
+> conversations.
+
+这个 claim 仍需在投稿前按检索结果逐条核对，不能写成“首个多人视听 turn-taking”或
+“首个在线多人 EOT”。完整边界见
+[多人 egocentric floor gap audit](multiparty_egocentric_floor_gap_audit_2026-08-30.md)。
+
+### 不足以成为贡献的内容
+
+- 仅把 EgoSpeak 的旧 backbone 换成 Qwen2.5-Omni；
+- 仅报告 0.2--2.0 秒逐帧 mAP；
+- 仅发现 G+A+V 高于 G，但没有正确人物、错位人物或参数匹配控制；
+- 把 aggregate `others` 的边界直接称为语义 EOT、INT 或 addressee 真值；
+- 把冻结 Omni 特征加 MLP 称为任务级端到端训练；
+- 继续优化此前泛化的 transition auxiliary loss，而不区分 wearer entry/yield 场景。
+
+冻结 Thinker 加 head 应称为 **frozen-backbone adaptation** 或 representation probe。
+只有联合优化局部 adapter/LoRA 与任务目标时，才接近 task-adapted end-to-end 模型。
+
+## 3. 四个假设
+
+| 假设 | 问题 | 可观察证据 |
+|---|---|---|
+| H1 | 全局 Omni state 是否包含 aggregate floor 信息？ | wearer/others 活动与未来活动 probe 优于简单先验和 encoder-only baseline |
+| H2 | 全局 Omni state 是否可靠地区分画面中的不同说话人？ | 匿名 person-slot active-speaker probe 明显优于随机/时序错位视觉 |
+| H3 | 逐人 grounding 是否改变 wearer 的开口决策？ | matched onset recall 下，other↔other 时段 false entry/min 显著下降 |
+| H4 | 这种抑制是否只是让模型更保守？ | addressed-to-wearer response recall/latency 和 wearer yield 不退化 |
+
+如果 H2 不成立，论文不能宣称原始 Omni 已经具有可靠 speaker grounding；这时逐人分支
+本身就是所需的适配模块。如果 H2 成立但 H3 不成立，则 representation 有说话者信息，
+但它没有转化为 floor-action 收益，也不能强行讲成成功故事。
+
+## 4. 实验顺序
+
+### P0：先冻结评测和数据定义
+
+在训练新模型前完成，否则后续所有数值都可能回答错问题。
+
+1. 核实 5 Hz `row t` 的输入截止时间和 `t+h` 标签物理时间；保留现有 causal-valid
+   mask。
+2. 修正事件归因的 competing risk：
+   - other offset 后的 wearer response 只在下一次 other onset 之前归因；
+   - other onset 后的 wearer yield 只在下一次 other offset 之前归因。
+   现有 `evaluate_floor_state_changes.py` 使用固定 horizon 内任意 transition，暂时只能作为
+   proxy，可能把后来无关的动作归给前一个边界。
+3. 固定 EasyCom train/test（4--12 / 1--3）；阈值、窗口和规则不能在 test 上调。
+4. 从训练 session 内留出 calibration/dev 子集，用来选择阈值和 early stopping；最终表格
+   仍在官方 test 上一次性报告。
+5. 冻结三个场景切片：
+   - `third_party`: other↔other，wearer 不应开口；
+   - `addressed`: 他人明确面向 wearer，期待 wearer 响应；
+   - `group_or_unknown`: 群体/目标未知，只作独立报告。
+6. 审计 EasyCom `Target_of_Speech` 的覆盖与可靠性；Ego4D 缺少充分 addressee 标注时，
+   不把它用于 addressed-to-wearer 主指标。
+
+P0 的产物应包括事件计数、正负样本数、示例时间轴和人工复核样例，而不只是一个 AP。
+
+### P1：先诊断 Omni 是否真的知道“谁在说话”
+
+使用冻结表示和轻量、容量匹配的 probe，避免先训练复杂模型后再猜收益来源。
+
+| ID | 输入表示 | 目的 |
+|---|---|---|
+| D0 | EgoSpeak 原始音频/视觉特征 | 可参照的旧表示基线 |
+| D1-A/V/AV | Qwen audio/visual encoder-only | 区分 encoder 信息和 Thinker 融合信息 |
+| D2 | 全局 Thinker state `G` | 检查 Omni 全局状态 |
+| D3 | 匿名 person slots `V_i` | 逐人 active-speaker / visible-speaker probe |
+| D4 | `G + V_i` | 检查全局语义能否帮助人物归因 |
+
+必须加入的控制：
+
+- audio-only、visual-only、正确 AV；
+- 同一时刻随机换人的 crop；
+- 时间错位 crop；
+- person slot permutation（模型不能依赖固定 person ID）；
+- 参数量和历史长度匹配的 pooled-person baseline。
+
+P1 的通过条件不是一个固定绝对阈值，而是：正确对齐的人物表示稳定优于错人/错时控制，
+且三次随机种子置信区间不完全被简单 pooled baseline 覆盖。否则不要进入昂贵的 Thinker
+adapter 实验。
+
+### P2：建立 floor-action 基线，并证明普通池化视觉的局限
+
+已有结果应重新放入同一个事件协议：
+
+| ID | 模型 | 已知作用 |
+|---|---|---|
+| B0 | `G` | 全局 Thinker baseline |
+| B1 | `G + A` | 当前最主要的局部音频增益来源 |
+| B2 | `G + A + pooled V` | 检查普通局部视觉的边际价值 |
+| B3 | `G + A + shuffled V` | 判断视觉收益是否来自正确对齐 |
+| B4 | `G + A + temporal pooled V` | 与 person-wise temporal model 做公平容量/历史控制 |
+
+当前 EasyCom seed-0 结果中，B1 到 B2 的 0.2 秒 wearer AP 只约 `+0.02`，mean mAP
+约 `+0.29`。这说明“有视觉输入”尚不等于“理解谁在对谁说话”，也正好构成逐人方法的
+动机。不要把这点写成视觉已被证实有效。
+
+逐帧 10-horizon AP/mAP 保留为与 EgoSpeak 可比的次级指标；主指标改为：
+
+- wearer entry event AP；
+- wearer yield event AP；
+- matched entry recall（建议 0.7/0.8/0.9）下 third-party false entries/min；
+- addressed-to-wearer response recall 和 latency；
+- wearer 已经讲话时的 yield recall 和 latency。
+
+### P3：第一优先方法——匿名逐人时序旁路
+
+先做易解释、能在 8×L20 上完成的旁路，而不是直接修改整个 Thinker。
+
+```text
+global Thinker states G_t ───────────────────────────────┐
+recent local audio A_t -> causal audio temporal encoder ─┤
+person crops V_{t,i} -> shared causal encoder per person ┤
+                                  -> wearer-state-conditioned attention
+                                  -> floor entry/yield head
+```
+
+关键约束：
+
+- 人物轨迹使用匿名 slot，共享视觉编码器和时序 GRU/TCN，避免依赖 person ID；
+- 每个时刻显式 mask 不可见人物；
+- causal attention 只能看到当前及过去；
+- 用 wearer 当前状态门控 entry/yield 分支；
+- 所有比较匹配历史长度、参数量、优化器、训练轮数与种子。
+
+逐步消融：
+
+| ID | 增量 | 回答的问题 |
+|---|---|---|
+| A0t | `G+A` + 参数匹配时序层 | 收益是否只是更多 temporal capacity？ |
+| A1 | pooled-person temporal branch | 收益是否只是人物区域平均更干净？ |
+| A2 | person-wise shared encoder + causal cross-attention | 保留人物结构是否必要？ |
+| A3 | A2 + per-person active-speaker auxiliary loss | 显式“谁在说”监督是否必要？ |
+| A4 | A3 + addressee auxiliary loss | “对谁说”是否降低 third-party false entry？ |
+| A5 | A4 + wearer entry/yield hazard loss | grounding 是否能转化为行为事件？ |
+
+论文的关键对照是 A2/A3/A4 对 A0t、A1、B3，而不是只对最弱的 B0。
+
+### P4：第二阶段方法——把人物记忆接入 Omni Thinker
+
+只有 P1 证明人物特征可解码、P3 证明人物结构对 floor action 有效后，再做：
+
+| ID | 方法 | 作用 |
+|---|---|---|
+| T0 | Thinker LoRA，无人物 memory | 参数与任务适配控制 |
+| T1 | local person-memory adapter，冻结 Thinker | 测试 trainable modality connection |
+| T2 | person-memory adapter + upper-layer LoRA | 最接近 task-adapted end-to-end 的上限 |
+
+adapter 应把每个 200 ms 或短 causal chunk 的人物 token 作为有 mask 的 memory，而不是把
+所有人脸拼成一张图后再让模型猜人物边界。T1/T2 必须与 T0 参数匹配，并继续做 wrong
+person、time-shift 和 remove-video 干预。若 T1 不优于 P3，就保留更简单、更容易解释的
+旁路作为论文方法。
+
+## 5. 主表和证据链
+
+### 主表
+
+每个方法至少 3 seeds，报告 mean ± sample standard deviation，并对 session/event 做
+bootstrap 置信区间：
+
+| Method | Entry event AP | Yield event AP | False entry/min @ R=.8 | Addressed recall | Response latency | EgoSpeak mean mAP |
+|---|---:|---:|---:|---:|---:|---:|
+
+其中 `False entry/min @ R=.8` 应作为最容易读懂的 headline metric；R=.7/.9 放附表或曲线。
+
+### 三个必要的因果证据
+
+1. **正确人物 > 错误人物**：随机换人不能保留收益。
+2. **正确时间 > 错位时间**：未来帧绝不能进入输入，过去错位也应降低收益。
+3. **选择性改善而非整体保守**：third-party false entry 降低时，addressed response recall
+   不下降。
+
+### 定性案例
+
+挑选固定规则而不是事后挑最好看的例子：
+
+- 两个 visible others 连续互相讲话，wearer 保持沉默；
+- visible other 转向/面向 wearer 后，wearer 在合理延迟内开口；
+- wearer 正在讲话，other 竞争性进入后 wearer 让话；
+- 失败案例：遮挡、背脸、多人同时讲话、目标未知。
+
+每个案例画同一时间轴：人物框、per-person speaking score、addressee score、wearer
+entry/yield score、真实 wearer 状态。
+
+## 6. 8×L20 的执行优先级
+
+不要一开始把 8 张卡都投入 T2。建议按 gate 推进：
+
+1. **第 1 轮**：3 seeds 的 B1、B2、A0t，加 B3 wrong-alignment control；冻结评测。
+2. **第 2 轮**：D3/D4 person probe；确认人物和时间对齐真的可解码。
+3. **第 3 轮**：3 seeds 的 A1、A2、A3；根据 matched-recall 主指标选方向。
+4. **第 4 轮**：只对通过的 A3 增加 addressee/event supervision。
+5. **第 5 轮**：T0/T1；只有 T1 显著优于旁路后才做 T2。
+6. **跨数据集**：EasyCom 用于完整 speaker/addressee 分析；Ego4D 用于 activity、entry/yield
+   泛化，不强行报告其不支持的 addressee 主指标。
+
+每轮都先在一个 session 做 shape、时间和 leakage smoke test，再并行 full run。模型选择只看
+train 内 calibration/dev，不读取官方 test 结果做超参数搜索。
+
+## 7. 结果如何决定论文方向
+
+| 观察 | 应得结论 |
+|---|---|
+| 正确视觉与错位视觉无差别 | 当前局部视觉没有被模型使用；不能讲 AV social grounding |
+| 只有 audio 提升 | 收敛成 prosody/audio floor forecasting，不硬写视觉故事 |
+| person probe 好，但 floor 指标无提升 | Omni 有人物信息，但当前任务/融合没有利用它 |
+| A2 优于 pooled，但 A3/A4 无额外收益 | 人物结构有效，辅助标签质量或目标设计需调整 |
+| A4 在 matched recall 下降低 third-party false entry，addressed recall 不退化 | 最强、最直接的多人 AV floor-action 证据 |
+| T1/T2 不优于旁路 | 采用简单旁路；不为“端到端”牺牲可解释性 |
+
+## 8. 最小可投稿版本与强版本
+
+**最小可投稿版本**：新的 wearer entry/yield 事件协议、Omni speaker-grounding 诊断、
+EgoSpeak/encoder-only/Thinker/local-audio/pooled-video 强基线、EasyCom+Ego4D 复现，并清楚
+展示逐帧 mAP 隐藏的行为差异。
+
+**强版本**：在上述基础上，匿名逐人 causal fusion 在 matched wearer recall 下显著降低
+third-party false entry，保持 addressed response 与 yield，并通过 wrong-person、time-shift、
+audio-only、参数匹配和跨数据集控制。
+
+前者回答“现有 Omni 到底会不会管理话轮”；后者进一步给出“怎样让它利用多人视觉管理
+话轮”。后者才是更有竞争力的 ICASSP 主线。

literature_notes/47_3m_transformer.md

@@ -2,12 +2,18 @@
 
 - 作者：Mehdi Fatan Serj、Emanuele Mincato、Dimitra Pintzou、Mariella Dimiccoli
 - 发表：ICASSP 2024，8050–8054
-- 阅读深度：作者机构摘要及正式会议信息筛选
-- 记录日期：2026-08-28
-- 来源：[作者机构](https://www.iri.upc.edu/publications/show/2887)、[DOI](https://doi.org/10.1109/ICASSP48485.2024.10448136)
+- 阅读深度：方法、数据、输入和预测协议重点阅读
+- 记录日期：2026-08-30
+- 来源：[论文](https://arxiv.org/pdf/2310.14859)、[作者机构](https://www.iri.upc.edu/publications/show/2887)、[DOI](https://doi.org/10.1109/ICASSP48485.2024.10448136)
 
 ## 摘要与项目关系
 
-在 EgoCom 的同步、多视角 embodied 对话数据上，通过多阶段、多流 multimodal transformer 预测轮次。强调不同人物视角和模态间的交互。
+在 EgoCom 的同步、多视角 embodied 对话数据上，通过多阶段、多流 multimodal transformer
+融合 audio/video/text，预测 1、3、5、10 秒后的 next speaker。EgoCom 包含三人对话，至少
+两人佩戴同步音视频眼镜；输入使用预计算视觉、说话人音频和 transcript embeddings，并聚合
+过去 4、5、10 或 30 秒。
 
-这是多人时序融合的相关工作，但 EgoCom 不等于 EasyCom，多个参与者摄像机也不同于单 wearer 视角。本轮未完整核对方法、输入因果性及代码，不能直接作为可复现命令来源。
+这是“多方＋第一视角＋AVT＋未来 next speaker”的直接先例。它与本项目的区别不能只写数据集：
+其系统依赖多位参与者的同步穿戴视角和已有文本，预测远期 speaker class；本项目目标是单个
+wearer 传感流下不可见 wearer 的 200ms 级 entry/yield 事件及误触发。论文表格中的高 accuracy
+还混合了 `Use Prior=True` 条件，不能与本项目逐帧 AP 或事件指标直接比较。

literature_notes/50_av_conversational_graph.md

@@ -0,0 +1,18 @@
+# The Audio-Visual Conversational Graph: From an Egocentric-Exocentric Perspective
+
+- 作者：Wenqi Jia、Miao Liu、Hao Jiang、Ishwarya Ananthabhotla、James M. Rehg、Vamsi Krishna Ithapu、Ruohan Gao
+- 发表：CVPR 2024，26396–26405
+- 阅读深度：摘要、问题定义、输入、标注及补充实验重点阅读
+- 核查日期：2026-08-30
+- 来源：[CVF](https://openaccess.thecvf.com/content/CVPR2024/html/Jia_The_Audio-Visual_Conversational_Graph_From_an_Egocentric-Exocentric_Perspective_CVPR_2024_paper.html)、[arXiv](https://arxiv.org/abs/2312.12870)
+
+## 摘要与项目关系
+
+从第一视角音视频构造动态 conversational graph，同时预测 camera wearer 与画面中各人物的
+speaking/listening 关系。模型显式融合跨时间、跨人物和跨模态信息，并使用人物头部 crop、
+空间 mask 与多通道音频。实验数据包含多说话人及并行会话。
+
+这是“第一视角＋多方＋逐人 AV 交互图”的直接先例，因此不能把这些组件本身作为首次贡献。
+但其任务是根据约 3s clip 重建各时刻当前的 speaking/listening graph，补充材料说明各帧结果
+一次性预测；没有建立严格因果的 wearer 未来 entry/yield 事件协议。其多通道音频、提供的头框
+以及预定义交谈组也不同于本项目的单 wearer 流式输入。

literature_notes/51_online_multiparty_eot.md

@@ -0,0 +1,18 @@
+# Online Multimodal End-of-Turn Prediction for Three-party Conversations
+
+- 作者：Meng-Chen Lee、Zhigang Deng
+- 发表：ICMI 2024，57–65；Best Paper Runner-up
+- 阅读深度：任务、采集、方法、评测及局限重点阅读
+- 核查日期：2026-08-30
+- 来源：[作者论文 PDF](https://graphics.cs.uh.edu/wp-content/papers/2024/2024-ICMI-OnlineTurnPrediction.pdf)、[DOI](https://doi.org/10.1145/3678957.3685742)
+
+## 摘要与项目关系
+
+用连续窗口及 PLM-GRU 融合文本、韵律、视线和交互状态，在线预测三方对话中的 end-of-turn，
+标注包含 turn-taking、interruption 与 overlap。相对依赖停顿后的 IPU 方法，它强调连续预测
+和低延迟，因此“第一个在线多方 EOT”不能作为本项目 claim。
+
+数据来自受控实验室：八台光学 mocap 相机、每人眼动仪、mocap suit 和独立无线麦克风。
+输入是工程化 gaze/prosody/text/state，而不是自然环境中的单个第一视角原始 AV；任务检测当前
+说话人的 EOT，也不等于预测不可见 wearer 自身何时进入或退出 floor。论文还承认尚未形成
+完整的实时多模态 top-down 系统。

literature_notes/52_turnbench.md

@@ -0,0 +1,18 @@
+# TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue
+
+- 作者：Freeman Jiang 等
+- 状态：2026 arXiv 预印本及公开 benchmark
+- 阅读深度：摘要、任务定义、提交因果性和公开 leaderboard 重点阅读
+- 核查日期：2026-08-30
+- 来源：[论文](https://arxiv.org/abs/2608.25218)、[benchmark](https://turnbench.sesame.com/)、[官方仓库](https://github.com/SesameAILabs/turnbench)
+
+## 摘要与项目关系
+
+建立跨六类对话的双人双通道 EOT/INT benchmark。模型必须提交其作出决定的时间，而不是事后
+回填事件发生时间；主要指标是固定工作点下的 recall、false-positive rate 和 latency。
+结果显示 backchannel 密集的对话特别容易造成 interruption false positives，而且现有系统尚未
+同时达到快速、高召回和低误报。
+
+它不是多方、音视频或第一视角任务，但提供了比逐帧 AP 更接近 agent 行为的评测依据。
+本项目应借鉴一对一事件匹配、因果提交时间、匹配召回率和误报预算，同时保留 wearer entry/yield
+及多方场景分层；不能直接把由二值活动自动派生的 proxy 称为 TurnBench 人工 EOT/INT 真值。

literature_notes/53_amuse.md

@@ -0,0 +1,16 @@
+# AMusE: Audio-Visual Benchmark and Alignment Framework for Agentic Multi-Speaker Understanding
+
+- 作者：Sanjoy Chowdhury 等
+- 发表：CVPR 2026，22998–23009
+- 阅读深度：摘要及官方论文页筛选
+- 核查日期：2026-08-30
+- 来源：[CVF](https://openaccess.thecvf.com/content/CVPR2026/html/Chowdhury_AMusE_Audio-Visual_Benchmark_and_Alignment_Framework_for_Agentic_Multi-Speaker_Understanding_CVPR_2026_paper.html)
+
+## 摘要与项目关系
+
+系统评估 MLLM 在多说话人对话中的人物身份追踪、角色保持及音视频事件时序 grounding，报告
+当前通用模型在 agentic multi-speaker understanding 上仍有明显短板。
+
+该工作不是 wearer floor-entry/yield 预测，也不能作为直接数值基线；它适合与 Multi-speaker
+Attention Alignment 一起支撑“简单加入视觉并不等于获得逐人社会理解”的动机。引用时应把
+其 benchmark/理解任务与本项目 200ms 因果行为预测明确分开。

literature_notes/README.md

@@ -2,9 +2,11 @@
 
 本目录持久化记录我们在本项目讨论中实际阅读、分析或筛选过的论文。这里的“摘要”均为面向当前课题的中文转述，不是原文摘要的复制。
 
-最后更新：2026-08-28
+最后更新：2026-08-30
 
-最新专题：[可训练多人 AV 融合、8×L20 与 matched-recall 评测](../docs/trainable_speaker_fusion_survey_2026-08-28.md)。新增 33–49：涵盖逐人时序融合、讲话对象、模型内适配器、模态竞争及专门 AV 编码器，区分正式发表、作者接收声明和未发布代码。计划尚未实施；文献已发表不代表迁移到本项目已有效。
+最新专题：[多方第一视角 AV wearer floor-state prediction 文献 gap 审计](../docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md)。结论是宽泛组件均有先例；仍可信的交集是单 wearer 严格因果流、不可见 wearer 的 entry/yield、逐人 grounding 和事件级评测。MuVAP、EgoSpeak、3M-Transformer、AV-CONV 与在线多方 EOT 必须正面区分。
+
+此前专题：[可训练多人 AV 融合、8×L20 与 matched-recall 评测](../docs/trainable_speaker_fusion_survey_2026-08-28.md)。新增 33–49：涵盖逐人时序融合、讲话对象、模型内适配器、模态竞争及专门 AV 编码器，区分正式发表、作者接收声明和未发布代码。计划尚未实施；文献已发表不代表迁移到本项目已有效。
 
 同日此前专题：[逐人 chunk、train-free Thinker 与 wearer onset/offset 计划](../docs/speaker_aware_thinker_plan_2026-08-28.md)。新增 28–32 五篇笔记，补读 16、23，核查 24 的实现边界。
 
@@ -69,9 +71,20 @@
 | 47 | [3M-Transformer](47_3m_transformer.md) | 2024 | 摘要级筛选 | ICASSP；多视角 EgoCom，区别于单视角 EasyCom |
 | 48 | [VA-related Pretrained Encoders for MM-VAP](48_va_pretrained_multimodal_vap.md) | 2026 | 重点章节阅读 | 作者声明 RO-MAN 接收；LoRA 与窗口因果性审计 |
 | 49 | [Modality Drop-Out for DDSD](49_modality_dropout_ddsd.md) | 2024 | 摘要及会议信息筛选 | ICASSP；缺失模态及固定工作点误接受率 |
+| 50 | [Audio-Visual Conversational Graph / AV-CONV](50_av_conversational_graph.md) | 2024 | 问题、输入和标注重点阅读 | CVPR；第一视角逐人 speaking/listening graph，但不是因果未来 wearer action |
+| 51 | [Online Multimodal End-of-Turn Prediction](51_online_multiparty_eot.md) | 2024 | 任务、采集、方法和局限重点阅读 | ICMI；在线三方 EOT，但依赖实验室 gaze/mocap/独立麦克风 |
+| 52 | [TurnBench](52_turnbench.md) | 2026 | 任务、因果提交和 leaderboard 重点阅读 | 双人音频事件评测；recall/FPR/latency 范式 |
+| 53 | [AMusE](53_amuse.md) | 2026 | 摘要及官方论文页筛选 | CVPR；MLLM 多说话人身份、角色和 AV grounding 短板 |
 
 ## 当前综合判断
 
+2026-08-30 更新：宽泛的“多方 AV turn-taking”已被 MuVAP、3M-Transformer、在线多方 EOT
+等工作覆盖；“第一视角 AV when-to-speak”已有 EgoSpeak，“逐人第一视角 speaking/listening”
+已有 AV-CONV。当前可辩护定位是：**单个严格因果第一视角流中，利用 speaker-grounded AV
+预测不可见 wearer 自身的 floor entry 与 yield，并作事件级误触发/召回/延迟评价**。
+参见[完整 gap 审计](../docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md)。gap 不替代方法贡献；
+仍需证明逐人视觉在同 onset recall 下减少第三方交谈期间 false entry，并不损害真实 response。
+
 2026-08-28 更新：[encoder-only 完整结果](../results/easycom_encoder_only_1s_4ep_2026-08-28/README.md)显示近期音频与 Thinker 历史互补；普通视觉池化对 wearer 的增益尚不清楚。先补 wearer 专属事件及讲话对象分层，再对照逐人时序旁路和模型内可训练 adapter/LoRA。现有 R1/R2 是全活动变化，不是 wearer onset/offset 的直接评测。MuVAP 等工作使“逐人＋因果融合”不再足以单独构成创新；新假设是对不可见 wearer 的讲话对象条件化预测与受召回约束的第三方误开口降低。
 
 以下为 2026-08-27 的阶段判断：