35 lines
2.4 KiB
Markdown
35 lines
2.4 KiB
Markdown
# EgoSpeak: Learning When to Speak for Egocentric Conversational Agents in the Wild
|
||
|
||
- 会议：Findings of NAACL 2025
|
||
- 阅读深度：深入阅读
|
||
- 官方链接：https://aclanthology.org/2025.findings-naacl.163/
|
||
- 官方代码：https://github.com/jun297/EgoSpeak
|
||
- 本项目核对的代码 revision：`b5bee35e796d8f2d6aa7da2bf1b07836270f8bfb`
|
||
|
||
## 摘要（中文转述）
|
||
|
||
EgoSpeak 研究第一人称智能体在自然多人对话中“何时开口”。任务要求模型只利用当前及过去的第一人称视觉和音频，在连续、未裁剪场景中预测近期说话状态。工作引入大规模网络对话预训练，并在 EasyCom 与 Ego4D 上评估，强调多模态输入、较长上下文和在线因果约束对开口预测的重要性。
|
||
|
||
## 与当前项目的关系
|
||
|
||
它定义了本项目复现的核心协议：5 Hz 目标、多个未来预测时距、EasyCom/Ego4D 划分及 AP/mAP 评测。我们发现 EasyCom 中 wearer 与 others 可以同时为真，因此三路 softmax 的互斥输出与真实标签结构不完全一致；四状态 softmax 和独立 BCE 的消融虽更匹配标签结构，但当前四个 epoch 的收益很小，说明主要瓶颈可能不是输出空间。
|
||
|
||
## GRU 实现核对
|
||
|
||
官方 `MiniROADA` 将同一时刻的 RGB 与音频 feature 拼接，经
|
||
`Linear -> LayerNorm -> ReLU -> Dropout` 后送入单层 GRU，再把每个 recurrent state
|
||
映射成十个 anticipation hidden states 并共享分类器。EasyCom 配置使用 128 个 5 Hz
|
||
step（25.6 秒）、stride 4、2048D embedding、1024D hidden 和 10 个 future steps。
|
||
|
||
本项目的 `track-gru-residual` 没有复制这段实现，也不是该基线的复现：它把 GRU 参数在
|
||
匿名人物轨迹之间共享，并用零门控残差修正 matched pooled Omni head。官方实现仍应作为
|
||
单独的 sequence-GRU 强基线；逐人 track continuity 是否有效，需要 broken-ID/no-ID 控制
|
||
而不能由架构名称推断。
|
||
|
||
为控制逐人时序 stem 的实现差异，项目另提供
|
||
`causal-person-adapter-egospeak-gru`。它仅采用 MiniROADA 的
|
||
`Linear-LayerNorm-ReLU-Dropout-GRU-ReLU` 层序，仍处理逐人视觉 track，并保留 V2 的
|
||
G+A query、人物集合注意力、动态 gate 和 pooled residual base。因此实验中必须称为
|
||
**EgoSpeak-style per-track GRU**，不能称为 EgoSpeak/MiniROADA 复现。真正的官方
|
||
sequence-GRU baseline 仍需单独实现全局 5 Hz 序列和 anticipation decoder。
|