72 lines
4.1 KiB
Markdown
72 lines
4.1 KiB
Markdown
|
# Pooled AV 与 oracle 的 wearer 增益审计
|
|||
|
|
|
|||
|
|
日期：2026-09-10。来源：用户粘贴的远程三种子控制台结果，以及已有的
|
|||
|
|
[pooled/encoder-only 记录](../easycom_encoder_only_1s_4ep_2026-08-28/README.md)。
|
|||
|
|
本记录没有重新运行训练或读取远程 checkpoint/predictions。
|
|||
|
|
|
|||
|
|
## 协议与来源
|
|||
|
|
|
|||
|
|
新 oracle：Sessions 4--12 全训练，固定 4 epochs，保存末轮，无 dev checkpoint
|
|||
|
|
selection；Sessions 1--3 测试；seeds 0/1/2；`causal_valid_only`。
|
|||
|
|
命令入口：`bash run_easycom_oracle_information.sh final 0 1 2`。
|
|||
|
|
预测根目录：`results/easycom_oracle_information_4ep_train4_12_fixed4_test/`；
|
|||
|
|
checkpoint 按 runner 默认应为
|
|||
|
|
`checkpoints/easycom_oracle_information_4ep_train4_12_fixed4/<condition>_seed<seed>.pth`，
|
|||
|
|
但实际环境覆盖值、checkpoint hash 和运行代码 revision 未随日志提供，尚未核验。
|
|||
|
|
运行契约见 [oracle 手册](../../docs/easycom_oracle_information.md)。
|
|||
|
|
|
|||
|
|
`metrics.csv` 保存用户提供的全部 18 行数值，单位均为 AP/mAP 百分点。
|
|||
|
|
BG/wearer/others AP 三列仅对应 0.2 秒；mean mAP 是三个类别、十个 horizon 的平均，
|
|||
|
|
不能当成十 horizon wearer AP。
|
|||
|
|
|
|||
|
|
## 当前观测
|
|||
|
|
|
|||
|
|
三种子均值差值（百分点）：
|
|||
|
|
|
|||
|
|
| 比较 | 0.2s mAP | 0.2s wearer AP | 十 horizon mean mAP |
|
|||
|
|
|---|---:|---:|---:|
|
|||
|
|
| aggregate-visible − audio | +4.82609 | +0.57206 | +1.77462 |
|
|||
|
|
| delayed − audio | +0.08185 | +0.00647 | +0.16443 |
|
|||
|
|
| visibility-only − audio | +0.07598 | −0.06329 | +0.04018 |
|
|||
|
|
| per-person − shuffled-id | +0.34857 | +0.03092 | +0.20013 |
|
|||
|
|
| aggregate-visible − per-person | +0.42975 | +0.22818 | +0.29128 |
|
|||
|
|
|
|||
|
|
aggregate 的 0.2s 宏平均增益主要来自 BG（+10.45109）和 others（+3.45514），
|
|||
|
|
wearer 增益为 +0.57206。三种子方向一致，但 seed 方差不能替代跨 session 泛化的
|
|||
|
|
置信区间，也不能据此声称事件级改善。
|
|||
|
|
|
|||
|
|
## 与历史 pooled AV 的关系
|
|||
|
|
|
|||
|
|
历史 seed-0 `causal_valid_only`：G+A wearer AP 85.06554，G+A+V 85.08583，
|
|||
|
|
局部视觉的 0.2s wearer 增量仅 +0.02029；mean mAP 增量 +0.29083。
|
|||
|
|
历史完整曲线采用另一协议 `egospeak_full_timeline`：
|
|||
|
|
|
|||
|
|
- G+A+V − G+A：十 horizon wearer AP 平均 +0.06078，mean mAP +0.29073。
|
|||
|
|
- A+V − A：十 horizon wearer AP 平均 −0.99993；0.2s wearer AP −1.40150。
|
|||
|
|
|
|||
|
|
因此普通 pooled V 尚无稳定改善 wearer 的证据；encoder-only A+V 还出现 wearer
|
|||
|
|
退步。历史单种子与新 oracle 三种子不是一组完全匹配实验，不能用它们直接计算
|
|||
|
|
oracle-gap recovery 或判定两个方法的统计显著差异。
|
|||
|
|
|
|||
|
|
## 可以和不可以得出的结论
|
|||
|
|
|
|||
|
|
1. 已支持：在当前实验设置下，真实的可见 others 活动标注具有互补预测价值；
|
|||
|
|
aggregate 条件优于 visibility-only，收益不能仅由人物可见性控制解释。
|
|||
|
|
2. 及时性有证据：per-person 优于同结构 delayed 条件；aggregate 与 delayed 同时
|
|||
|
|
改变了聚合方式和时间，不能单独作为纯时间干预对照。
|
|||
|
|
3. 身份连续性：per-person 对 shuffled-id 有小幅同向增益，不能继续称为完全持平或
|
|||
|
|
断言 identity 无用；但 wearer 增量仅 +0.03，且 aggregate 更好，不支持其必要性。
|
|||
|
|
4. 尚未证明：增益来自真实 RGB 可恢复的信息，或 pooling 是失败原因。Oracle 使用
|
|||
|
|
说话标注，可能提供当前视觉/音频前端根本无法可靠估计的信号；信息缺失与访问困难
|
|||
|
|
目前也不能区分。
|
|||
|
|
5. 尚未证明：更少抢话、addressee 理解或更好的 entry/yield。短期活动延续也能改善
|
|||
|
|
BG/others AP，需要直接分析已有 wearer predictions 的事件表现。
|
|||
|
|
6. Oracle 是特权信息参照，不是数学性能上界；learned latent 可以携带额外线索而超过它。
|
|||
|
|
|
|||
|
|
## 对后续研究的含义
|
|||
|
|
|
|||
|
|
优先验证从真实因果 AV 估计的局部活动是否对 wearer 提供增量，保留简单 aggregate
|
|||
|
|
对照；在证据出现前，不预设 track、pooling 修复或层间注入必然有效。
|
|||
|
|
新 oracle 尚缺十 horizon wearer AP 曲线与事件结果，不能仅凭 mean mAP 批准强论文主张。
|
|||
|
|
Sessions 1--3 已被查看；后续选择不能依赖这次 test 表，使用训练侧验证或预先固定配置。
|