19 lines
1.3 KiB
Markdown
19 lines
1.3 KiB
Markdown
# The Audio-Visual Conversational Graph: From an Egocentric-Exocentric Perspective
|
||
|
||
- 作者：Wenqi Jia、Miao Liu、Hao Jiang、Ishwarya Ananthabhotla、James M. Rehg、Vamsi Krishna Ithapu、Ruohan Gao
|
||
- 发表：CVPR 2024，26396–26405
|
||
- 阅读深度：摘要、问题定义、输入、标注及补充实验重点阅读
|
||
- 核查日期：2026-08-30
|
||
- 来源：[CVF](https://openaccess.thecvf.com/content/CVPR2024/html/Jia_The_Audio-Visual_Conversational_Graph_From_an_Egocentric-Exocentric_Perspective_CVPR_2024_paper.html)、[arXiv](https://arxiv.org/abs/2312.12870)
|
||
|
||
## 摘要与项目关系
|
||
|
||
从第一视角音视频构造动态 conversational graph，同时预测 camera wearer 与画面中各人物的
|
||
speaking/listening 关系。模型显式融合跨时间、跨人物和跨模态信息，并使用人物头部 crop、
|
||
空间 mask 与多通道音频。实验数据包含多说话人及并行会话。
|
||
|
||
这是“第一视角＋多方＋逐人 AV 交互图”的直接先例，因此不能把这些组件本身作为首次贡献。
|
||
但其任务是根据约 3s clip 重建各时刻当前的 speaking/listening graph，补充材料说明各帧结果
|
||
一次性预测；没有建立严格因果的 wearer 未来 entry/yield 事件协议。其多通道音频、提供的头框
|
||
以及预定义交谈组也不同于本项目的单 wearer 流式输入。
|