Add competing-risk evaluation and align ICASSP story

2026-09-10 11:12:02 +08:00
parent 0abefd6f77
commit 4b7d2c0c20
30 changed files with 3420 additions and 724 deletions
@@ -0,0 +1,71 @@
+# Pooled AV 与 oracle 的 wearer 增益审计
+
+日期：2026-09-10。来源：用户粘贴的远程三种子控制台结果，以及已有的
+[pooled/encoder-only 记录](../easycom_encoder_only_1s_4ep_2026-08-28/README.md)。
+本记录没有重新运行训练或读取远程 checkpoint/predictions。
+
+## 协议与来源
+
+新 oracle：Sessions 4--12 全训练，固定 4 epochs，保存末轮，无 dev checkpoint
+selection；Sessions 1--3 测试；seeds 0/1/2；`causal_valid_only`。
+命令入口：`bash run_easycom_oracle_information.sh final 0 1 2`。
+预测根目录：`results/easycom_oracle_information_4ep_train4_12_fixed4_test/`；
+checkpoint 按 runner 默认应为
+`checkpoints/easycom_oracle_information_4ep_train4_12_fixed4/<condition>_seed<seed>.pth`，
+但实际环境覆盖值、checkpoint hash 和运行代码 revision 未随日志提供，尚未核验。
+运行契约见 [oracle 手册](../../docs/easycom_oracle_information.md)。
+
+`metrics.csv` 保存用户提供的全部 18 行数值，单位均为 AP/mAP 百分点。
+BG/wearer/others AP 三列仅对应 0.2 秒；mean mAP 是三个类别、十个 horizon 的平均，
+不能当成十 horizon wearer AP。
+
+## 当前观测
+
+三种子均值差值（百分点）：
+
+| 比较 | 0.2s mAP | 0.2s wearer AP | 十 horizon mean mAP |
+|---|---:|---:|---:|
+| aggregate-visible − audio | +4.82609 | +0.57206 | +1.77462 |
+| delayed − audio | +0.08185 | +0.00647 | +0.16443 |
+| visibility-only − audio | +0.07598 | −0.06329 | +0.04018 |
+| per-person − shuffled-id | +0.34857 | +0.03092 | +0.20013 |
+| aggregate-visible − per-person | +0.42975 | +0.22818 | +0.29128 |
+
+aggregate 的 0.2s 宏平均增益主要来自 BG（+10.45109）和 others（+3.45514），
+wearer 增益为 +0.57206。三种子方向一致，但 seed 方差不能替代跨 session 泛化的
+置信区间，也不能据此声称事件级改善。
+
+## 与历史 pooled AV 的关系
+
+历史 seed-0 `causal_valid_only`：G+A wearer AP 85.06554，G+A+V 85.08583，
+局部视觉的 0.2s wearer 增量仅 +0.02029；mean mAP 增量 +0.29083。
+历史完整曲线采用另一协议 `egospeak_full_timeline`：
+
+- G+A+V − G+A：十 horizon wearer AP 平均 +0.06078，mean mAP +0.29073。
+- A+V − A：十 horizon wearer AP 平均 −0.99993；0.2s wearer AP −1.40150。
+
+因此普通 pooled V 尚无稳定改善 wearer 的证据；encoder-only A+V 还出现 wearer
+退步。历史单种子与新 oracle 三种子不是一组完全匹配实验，不能用它们直接计算
+oracle-gap recovery 或判定两个方法的统计显著差异。
+
+## 可以和不可以得出的结论
+
+1. 已支持：在当前实验设置下，真实的可见 others 活动标注具有互补预测价值；
+   aggregate 条件优于 visibility-only，收益不能仅由人物可见性控制解释。
+2. 及时性有证据：per-person 优于同结构 delayed 条件；aggregate 与 delayed 同时
+   改变了聚合方式和时间，不能单独作为纯时间干预对照。
+3. 身份连续性：per-person 对 shuffled-id 有小幅同向增益，不能继续称为完全持平或
+   断言 identity 无用；但 wearer 增量仅 +0.03，且 aggregate 更好，不支持其必要性。
+4. 尚未证明：增益来自真实 RGB 可恢复的信息，或 pooling 是失败原因。Oracle 使用
+   说话标注，可能提供当前视觉/音频前端根本无法可靠估计的信号；信息缺失与访问困难
+   目前也不能区分。
+5. 尚未证明：更少抢话、addressee 理解或更好的 entry/yield。短期活动延续也能改善
+   BG/others AP，需要直接分析已有 wearer predictions 的事件表现。
+6. Oracle 是特权信息参照，不是数学性能上界；learned latent 可以携带额外线索而超过它。
+
+## 对后续研究的含义
+
+优先验证从真实因果 AV 估计的局部活动是否对 wearer 提供增量，保留简单 aggregate
+对照；在证据出现前，不预设 track、pooling 修复或层间注入必然有效。
+新 oracle 尚缺十 horizon wearer AP 曲线与事件结果，不能仅凭 mean mAP 批准强论文主张。
+Sessions 1--3 已被查看；后续选择不能依赖这次 test 表，使用训练侧验证或预先固定配置。
@@ -0,0 +1,19 @@
+condition,seed,map_0p2,bg_ap_0p2,wearer_ap_0p2,others_ap_0p2,mean_map
+aggregate-visible,0,86.70353,78.68879,85.97697,95.44481,66.97086
+aggregate-visible,1,86.60725,78.67625,85.68389,95.46161,66.95553
+aggregate-visible,2,86.77584,79.03497,85.84636,95.44621,66.92697
+audio,0,81.82018,68.32374,85.13784,91.99897,65.11495
+audio,1,81.91804,68.45640,85.31319,91.98453,65.23095
+audio,2,81.87011,68.26659,85.34002,92.00373,65.18361
+delayed,0,81.98017,68.44804,85.42083,92.07165,65.36472
+delayed,1,81.85499,68.35216,85.15280,92.06000,65.37526
+delayed,2,82.01874,68.81110,85.23682,92.00832,65.28282
+per-person,0,86.47493,78.23009,85.85070,95.34399,66.79960
+per-person,1,86.14132,77.84909,85.42206,95.15281,66.64966
+per-person,2,86.18113,77.91935,85.54992,95.07412,66.53026
+shuffled-id,0,86.01447,77.05511,85.83326,95.15503,66.54441
+shuffled-id,1,85.85603,77.03031,85.34384,95.19396,66.47007
+shuffled-id,2,85.88116,77.04115,85.55283,95.04951,66.36466
+visibility-only,0,81.99974,68.56855,85.35703,92.07364,65.23904
+visibility-only,1,81.83181,68.36851,85.07484,92.05209,65.24955
+visibility-only,2,82.00473,68.85219,85.16930,91.99268,65.16145