1.9 KiB
EgoSpeak: Learning When to Speak for Egocentric Conversational Agents in the Wild
- 会议：Findings of NAACL 2025
- 阅读深度：深入阅读
- 官方链接：https://aclanthology.org/2025.findings-naacl.163/
- 官方代码：https://github.com/jun297/EgoSpeak
- 本项目核对的代码 revision：
b5bee35e796d8f2d6aa7da2bf1b07836270f8bfb
摘要（中文转述）
EgoSpeak 研究第一人称智能体在自然多人对话中“何时开口”。任务要求模型只利用当前及过去的第一人称视觉和音频，在连续、未裁剪场景中预测近期说话状态。工作引入大规模网络对话预训练，并在 EasyCom 与 Ego4D 上评估，强调多模态输入、较长上下文和在线因果约束对开口预测的重要性。
与当前项目的关系
它定义了本项目复现的核心协议：5 Hz 目标、多个未来预测时距、EasyCom/Ego4D 划分及 AP/mAP 评测。我们发现 EasyCom 中 wearer 与 others 可以同时为真，因此三路 softmax 的互斥输出与真实标签结构不完全一致；四状态 softmax 和独立 BCE 的消融虽更匹配标签结构，但当前四个 epoch 的收益很小，说明主要瓶颈可能不是输出空间。
GRU 实现核对
官方 MiniROADA 将同一时刻的 RGB 与音频 feature 拼接，经
Linear -> LayerNorm -> ReLU -> Dropout 后送入单层 GRU，再把每个 recurrent state
映射成十个 anticipation hidden states 并共享分类器。EasyCom 配置使用 128 个 5 Hz
step（25.6 秒）、stride 4、2048D embedding、1024D hidden 和 10 个 future steps。
本项目的 track-gru-residual 没有复制这段实现，也不是该基线的复现：它把 GRU 参数在
匿名人物轨迹之间共享，并用零门控残差修正 matched pooled Omni head。官方实现仍应作为
单独的 sequence-GRU 强基线；逐人 track continuity 是否有效，需要 broken-ID/no-ID 控制
而不能由架构名称推断。