Add Ego4D local AV ablation workflow

This commit is contained in:
Xin Wang
2026-08-28 00:25:54 +08:00
parent 8b2fbd2622
commit b5ce64702a
8 changed files with 731 additions and 41 deletions
+5 -1
View File
@@ -125,7 +125,8 @@ python extract_turn_local_features.py "${LOCAL_ARGS[@]}" \
```
默认前台顺序执行,显示视觉帧进度和音频 state 进度;模型只加载一次。
已有文件会报错,恢复时在 `--samples` 中只列尚未完成的 sessions。
已有文件默认会报错;恢复时可只列尚未完成的 sessions,或增加 `--reuse-existing`
逐文件验证完整性、时间对齐和提取配置后跳过已完成文件。
`--overwrite` 是明确重算,不会重用不兼容文件。不要覆盖原始 feature root。
`persons` 还保留每帧变长的逐人特征、frame_offsets、框、帧号和时间,供后续 B2 复用。
若在不同挂载路径提取同一 checkpoint,使用相同 `--encoder-id`;不同权重不可共用这个 ID。
@@ -171,6 +172,9 @@ Loader 会检查 sample、时间、label_indices、维度、valid mask 和 encod
## Ego4D 接口
完整命令见 [Ego4D 四组局部增强实验](ego4d_local_baselines.md):新增 manifest 批量提取、
续跑校验、`run_ego4d_local_baselines.py` 四组运行入口和匹配 seed 的增量汇总。
提取脚本同样支持 `--dataset ego4d`:输入根为 `/data/wangx/Datasets/ego4d`,
读取 `v1/clips/<uid>.mp4`、`v1/annotations/av_train.json` 与 `av_val.json`,
`--samples` 传已有 Omni `.pt` 的 clip UID。`--target-root` 指向 `ego4d_target_frame`。