17 lines
981 B
Markdown
17 lines
981 B
Markdown
|
# AMusE: Audio-Visual Benchmark and Alignment Framework for Agentic Multi-Speaker Understanding
|
|||
|
|
|
|||
|
|
- 作者：Sanjoy Chowdhury 等
|
|||
|
|
- 发表：CVPR 2026，22998–23009
|
|||
|
|
- 阅读深度：摘要及官方论文页筛选
|
|||
|
|
- 核查日期：2026-08-30
|
|||
|
|
- 来源：[CVF](https://openaccess.thecvf.com/content/CVPR2026/html/Chowdhury_AMusE_Audio-Visual_Benchmark_and_Alignment_Framework_for_Agentic_Multi-Speaker_Understanding_CVPR_2026_paper.html)
|
|||
|
|
|
|||
|
|
## 摘要与项目关系
|
|||
|
|
|
|||
|
|
系统评估 MLLM 在多说话人对话中的人物身份追踪、角色保持及音视频事件时序 grounding，报告
|
|||
|
|
当前通用模型在 agentic multi-speaker understanding 上仍有明显短板。
|
|||
|
|
|
|||
|
|
该工作不是 wearer floor-entry/yield 预测，也不能作为直接数值基线；它适合与 Multi-speaker
|
|||
|
|
Attention Alignment 一起支撑“简单加入视觉并不等于获得逐人社会理解”的动机。引用时应把
|
|||
|
|
其 benchmark/理解任务与本项目 200ms 因果行为预测明确分开。
|