2026-08-26 17:18:50 +08:00
|
|
|
|
# EgoSpeak: Learning When to Speak for Egocentric Conversational Agents in the Wild
|
|
|
|
|
|
|
|
|
|
|
|
- 会议：Findings of NAACL 2025
|
|
|
|
|
|
- 阅读深度：深入阅读
|
|
|
|
|
|
- 官方链接：https://aclanthology.org/2025.findings-naacl.163/
|
2026-09-07 00:30:23 +08:00
|
|
|
|
- 官方代码：https://github.com/jun297/EgoSpeak
|
|
|
|
|
|
- 本项目核对的代码 revision：`b5bee35e796d8f2d6aa7da2bf1b07836270f8bfb`
|
2026-08-26 17:18:50 +08:00
|
|
|
|
|
|
|
|
|
|
## 摘要（中文转述）
|
|
|
|
|
|
|
|
|
|
|
|
EgoSpeak 研究第一人称智能体在自然多人对话中“何时开口”。任务要求模型只利用当前及过去的第一人称视觉和音频，在连续、未裁剪场景中预测近期说话状态。工作引入大规模网络对话预训练，并在 EasyCom 与 Ego4D 上评估，强调多模态输入、较长上下文和在线因果约束对开口预测的重要性。
|
|
|
|
|
|
|
|
|
|
|
|
## 与当前项目的关系
|
|
|
|
|
|
|
|
|
|
|
|
它定义了本项目复现的核心协议：5 Hz 目标、多个未来预测时距、EasyCom/Ego4D 划分及 AP/mAP 评测。我们发现 EasyCom 中 wearer 与 others 可以同时为真，因此三路 softmax 的互斥输出与真实标签结构不完全一致；四状态 softmax 和独立 BCE 的消融虽更匹配标签结构，但当前四个 epoch 的收益很小，说明主要瓶颈可能不是输出空间。
|
|
|
|
|
|
|
2026-09-07 00:30:23 +08:00
|
|
|
|
## GRU 实现核对
|
|
|
|
|
|
|
|
|
|
|
|
官方 `MiniROADA` 将同一时刻的 RGB 与音频 feature 拼接，经
|
|
|
|
|
|
`Linear -> LayerNorm -> ReLU -> Dropout` 后送入单层 GRU，再把每个 recurrent state
|
|
|
|
|
|
映射成十个 anticipation hidden states 并共享分类器。EasyCom 配置使用 128 个 5 Hz
|
|
|
|
|
|
step（25.6 秒）、stride 4、2048D embedding、1024D hidden 和 10 个 future steps。
|
|
|
|
|
|
|
|
|
|
|
|
本项目的 `track-gru-residual` 没有复制这段实现，也不是该基线的复现：它把 GRU 参数在
|
|
|
|
|
|
匿名人物轨迹之间共享，并用零门控残差修正 matched pooled Omni head。官方实现仍应作为
|
|
|
|
|
|
单独的 sequence-GRU 强基线；逐人 track continuity 是否有效，需要 broken-ID/no-ID 控制
|
|
|
|
|
|
而不能由架构名称推断。
|
