1.3 KiB
1.3 KiB
The Audio-Visual Conversational Graph: From an Egocentric-Exocentric Perspective
- 作者：Wenqi Jia、Miao Liu、Hao Jiang、Ishwarya Ananthabhotla、James M. Rehg、Vamsi Krishna Ithapu、Ruohan Gao
- 发表：CVPR 2024，26396–26405
- 阅读深度：摘要、问题定义、输入、标注及补充实验重点阅读
- 核查日期：2026-08-30
- 来源：CVF、arXiv
摘要与项目关系
从第一视角音视频构造动态 conversational graph，同时预测 camera wearer 与画面中各人物的 speaking/listening 关系。模型显式融合跨时间、跨人物和跨模态信息，并使用人物头部 crop、 空间 mask 与多通道音频。实验数据包含多说话人及并行会话。
这是“第一视角＋多方＋逐人 AV 交互图”的直接先例，因此不能把这些组件本身作为首次贡献。 但其任务是根据约 3s clip 重建各时刻当前的 speaking/listening graph，补充材料说明各帧结果 一次性预测；没有建立严格因果的 wearer 未来 entry/yield 事件协议。其多通道音频、提供的头框 以及预定义交谈组也不同于本项目的单 wearer 流式输入。