Record speaker-aware AV research and literature

literature_notes/28_av_speakerbench.md

@@ -0,0 +1,18 @@
+# See, Hear, and Understand: Benchmarking Audiovisual Human Speech Understanding in Multimodal Large Language Models
+
+- 简称：AV-SpeakerBench
+- 作者：Le Thien Phuc Nguyen 等
+- 会议：CVPR **Findings** 2026；不是 CVPR 主会论文集
+- 阅读深度：摘要及任务设计筛选；未复现
+- 记录日期：2026-08-28
+- 来源：[CVF 论文页](https://openaccess.thecvf.com/content/CVPR2026F/html/Nguyen_See_Hear_and_Understand_Benchmarking_Audiovisual_Human_Speech_Understanding_in_CVPRF_2026_paper.html)、[论文正文](https://arxiv.org/html/2512.02231)、[官方实现](https://github.com/plnguyen2908/AV-SpeakerBench)
+
+## 摘要（中文转述）
+
+该基准以说话人而非整个场景为推理单位，用 3,212 道选择题检验人、语音内容和时间的跨模态关联。问题设计强调仅看视频或仅听音频不应轻易解决所有问题，人工核查保证语音理解与画面证据确实相关。
+
+## 本项目的启发与边界
+
+为“视觉有意义”设计证据需求明确的小型诊断：保持音频不变，正确人物视图是否优于遮挡/错配视图？让模型区分多个可见人物，不只预测合并的 others。
+
+原作是视频理解问答，不是未来轮次或合理打断的标注集。我们仍需独立的 wearer 事件指标、因果 cutoff 和稳定样本选择，不能拿自由文本解释代替预测成绩。