icassp2027-experiment/literature_notes/28_av_speakerbench.md

See, Hear, and Understand: Benchmarking Audiovisual Human Speech Understanding in Multimodal Large Language Models

• 简称：AV-SpeakerBench
• 作者：Le Thien Phuc Nguyen 等
• 会议：CVPR Findings 2026；不是 CVPR 主会论文集
• 阅读深度：摘要及任务设计筛选；未复现
• 记录日期：2026-08-28
• 来源：CVF 论文页、论文正文、官方实现

摘要（中文转述）

该基准以说话人而非整个场景为推理单位，用 3,212 道选择题检验人、语音内容和时间的跨模态关联。问题设计强调仅看视频或仅听音频不应轻易解决所有问题，人工核查保证语音理解与画面证据确实相关。

本项目的启发与边界

为“视觉有意义”设计证据需求明确的小型诊断：保持音频不变，正确人物视图是否优于遮挡/错配视图？让模型区分多个可见人物，不只预测合并的 others。

原作是视频理解问答，不是未来轮次或合理打断的标注集。我们仍需独立的 wearer 事件指标、因果 cutoff 和稳定样本选择，不能拿自由文本解释代替预测成绩。