20 lines
1.3 KiB
Markdown
20 lines
1.3 KiB
Markdown
# EgoAVU: Egocentric Audio-Visual Understanding
|
|
|
|
- 作者：Ashish Seth 等
|
|
- 会议：CVPR 2026
|
|
- 阅读深度：摘要及官方实现说明筛选
|
|
- 记录日期：2026-08-27
|
|
- 官方来源：[arXiv 论文](https://arxiv.org/abs/2602.06139)、[官方实现](https://github.com/facebookresearch/EgoAVU)、[CVPR 会议目录](https://openaccess.thecvf.com/CVPR2026?day=2026-06-06)
|
|
|
|
## 摘要（中文转述）
|
|
|
|
EgoAVU 用数据生成与筛选流程，将第一视角视频中的音频和视觉关联补充到叙述、问题与答案中，构建训练集及人工核验的评测集。评测发现部分多模态模型偏重视觉、忽略音频或难以对应声音来源。围绕联合 AV 信息进行微调能改善相应理解能力，并在其他相关评测上体现迁移收益。
|
|
|
|
## 与当前项目的关系
|
|
|
|
“能输入 AV”不等于“有效利用 AV 对应关系”。因此应做 audio-only、video-only、AV 和错配/遮挡诊断，再决定是否训练模态连接层或加入对齐监督。
|
|
|
|
## 适用边界
|
|
|
|
其任务主要是理解与问答，并非多人轮次预测；大规模指令数据上的微调收益不保证迁移到小规模 EasyCom。由此提出的局部 LoRA、模态 dropout 等是我们的候选控制，而非本次阅读已验证的原作训练结论。
|