1.6 KiB
1.6 KiB
Multi-speaker Attention Alignment for Multimodal Social Interaction
- 作者：Liangyang Ouyang 等
- 会议：CVPR 2026；预印本初发于 2025 年
- 阅读深度：重点章节阅读（问题分析、方法及输入要求）
- 记录日期：2026-08-27
- 官方来源：CVF 论文页、arXiv 正文
摘要（中文转述）
该工作分析多人社交视频中视觉 token 与说话人话语的对齐不足，指出加入图像并不总能改善社交推理。方法动态选择相关注意力头，再依照说话人位置施加自适应注意力偏置，增强同一说话人的视觉区域与话语联系，无需新增可训练参数。作者在多个视觉语言模型和社交任务上验证该干预。
与当前项目的关系
它支持检验按参与者组织局部视觉证据的价值，而不是仅增加全图 token。原作使用视频、带身份的话语转录和说话人框，主要研究视觉—文本对齐，不是从单路混合音频直接学到 AV 说话人对应。 原作结果不能直接作为本项目 200 ms 接话预测的证据。
本项目的待验证迁移
用当前可见 track 的区域特征构成参与者集合，训练音频条件下的融合和逐人活动辅助任务。身份标签可作训练监督；推理若使用真值框或真值说话人归属，必须单列为 oracle 条件，不能与仅原始 AV 的结果混报。还需保留佩戴者和画外/未定位说话人的表示。