docs: define speaker-grounded floor experiment plan

2026-08-30 19:18:53 +08:00
parent 6f5115f299
commit b74e905870
9 changed files with 546 additions and 37 deletions
@@ -0,0 +1,16 @@
+# AMusE: Audio-Visual Benchmark and Alignment Framework for Agentic Multi-Speaker Understanding
+
+- 作者：Sanjoy Chowdhury 等
+- 发表：CVPR 2026，22998–23009
+- 阅读深度：摘要及官方论文页筛选
+- 核查日期：2026-08-30
+- 来源：[CVF](https://openaccess.thecvf.com/content/CVPR2026/html/Chowdhury_AMusE_Audio-Visual_Benchmark_and_Alignment_Framework_for_Agentic_Multi-Speaker_Understanding_CVPR_2026_paper.html)
+
+## 摘要与项目关系
+
+系统评估 MLLM 在多说话人对话中的人物身份追踪、角色保持及音视频事件时序 grounding，报告
+当前通用模型在 agentic multi-speaker understanding 上仍有明显短板。
+
+该工作不是 wearer floor-entry/yield 预测，也不能作为直接数值基线；它适合与 Multi-speaker
+Attention Alignment 一起支撑“简单加入视觉并不等于获得逐人社会理解”的动机。引用时应把
+其 benchmark/理解任务与本项目 200ms 因果行为预测明确分开。