1.6 KiB
1.6 KiB
EgoAVU: Egocentric Audio-Visual Understanding
摘要（中文转述）
EgoAVU 用数据生成与筛选流程，将第一视角视频中的音频和视觉关联补充到叙述、问题与答案中，构建训练集及人工核验的评测集。评测发现部分多模态模型偏重视觉、忽略音频或难以对应声音来源。围绕联合 AV 信息进行微调能改善相应理解能力，并在其他相关评测上体现迁移收益。
与当前项目的关系
“能输入 AV”不等于“有效利用 AV 对应关系”。因此应做 audio-only、video-only、AV 和错配/遮挡诊断，再决定是否训练模态连接层或加入对齐监督。
适用边界
其任务主要是理解与问答，并非多人轮次预测；大规模指令数据上的微调收益不保证迁移到小规模 EasyCom。由此提出的局部 LoRA、模态 dropout 等是我们的候选控制，而非本次阅读已验证的原作训练结论。
2026-08-28 核查：官方 Training 说明提供既有 Qwen2.5-Omni 的 LoRA / full SFT 配置。不能将这项工作解读为“已经证明必须额外增加一个模态连接层”。先检验输入组织和冻结模型的局部证据利用，再决定是否需要训练新模块。