Add causal person track GRU residual experiment
This commit is contained in:
@@ -3,6 +3,8 @@
|
||||
- 会议:Findings of NAACL 2025
|
||||
- 阅读深度:深入阅读
|
||||
- 官方链接:https://aclanthology.org/2025.findings-naacl.163/
|
||||
- 官方代码:https://github.com/jun297/EgoSpeak
|
||||
- 本项目核对的代码 revision:`b5bee35e796d8f2d6aa7da2bf1b07836270f8bfb`
|
||||
|
||||
## 摘要(中文转述)
|
||||
|
||||
@@ -12,3 +14,14 @@ EgoSpeak 研究第一人称智能体在自然多人对话中“何时开口”
|
||||
|
||||
它定义了本项目复现的核心协议:5 Hz 目标、多个未来预测时距、EasyCom/Ego4D 划分及 AP/mAP 评测。我们发现 EasyCom 中 wearer 与 others 可以同时为真,因此三路 softmax 的互斥输出与真实标签结构不完全一致;四状态 softmax 和独立 BCE 的消融虽更匹配标签结构,但当前四个 epoch 的收益很小,说明主要瓶颈可能不是输出空间。
|
||||
|
||||
## GRU 实现核对
|
||||
|
||||
官方 `MiniROADA` 将同一时刻的 RGB 与音频 feature 拼接,经
|
||||
`Linear -> LayerNorm -> ReLU -> Dropout` 后送入单层 GRU,再把每个 recurrent state
|
||||
映射成十个 anticipation hidden states 并共享分类器。EasyCom 配置使用 128 个 5 Hz
|
||||
step(25.6 秒)、stride 4、2048D embedding、1024D hidden 和 10 个 future steps。
|
||||
|
||||
本项目的 `track-gru-residual` 没有复制这段实现,也不是该基线的复现:它把 GRU 参数在
|
||||
匿名人物轨迹之间共享,并用零门控残差修正 matched pooled Omni head。官方实现仍应作为
|
||||
单独的 sequence-GRU 强基线;逐人 track continuity 是否有效,需要 broken-ID/no-ID 控制
|
||||
而不能由架构名称推断。
|
||||
|
||||
Reference in New Issue
Block a user