icassp2027-experiment/literature_notes/23_multi_speaker_attention_alignment.md

# Multi-speaker Attention Alignment for Multimodal Social Interaction

- 作者：Liangyang Ouyang 等
- 会议：CVPR 2026；预印本初发于 2025 年
- 阅读深度：重点章节阅读（问题分析、方法及输入要求）
- 记录日期：2026-08-27；方法与代码状态复核：2026-08-28
- 官方来源：[CVF 论文页](https://openaccess.thecvf.com/content/CVPR2026/html/Ouyang_Multi-speaker_Attention_Alignment_for_Multimodal_Social_Interaction_CVPR_2026_paper.html)、[arXiv 正文](https://arxiv.org/pdf/2511.17952)

## 摘要（中文转述）

该工作分析多人社交视频中视觉 token 与说话人话语的对齐不足，指出加入图像并不总能改善社交推理。方法动态选择相关注意力头，再依照说话人位置施加自适应注意力偏置，增强同一说话人的视觉区域与话语联系，无需新增可训练参数。作者在多个视觉语言模型和社交任务上验证该干预。

## 与当前项目的关系

它支持检验按参与者组织局部视觉证据的价值，而不是仅增加全图 token。**原作使用视频、带身份的话语转录和说话人框，主要研究视觉—文本对齐，不是从单路混合音频直接学到 AV 说话人对应。** 原作结果不能直接作为本项目 200 ms 接话预测的证据。

## 本项目的待验证迁移

用当前可见 track 的区域特征构成参与者集合，训练音频条件下的融合和逐人活动辅助任务。身份标签可作训练监督；推理若使用真值框或真值说话人归属，必须单列为 oracle 条件，不能与仅原始 AV 的结果混报。还需保留佩戴者和画外/未定位说话人的表示。

## 2026-08-28 补读

方法 §4.1–4.2 按话语 token 到人物区域的注意力选择 head，再对同人话语—视觉关系加偏置。因而“在 Thinker 内加人物 attention bias”本身已有直接相关先例；本项目须验证无真值话语身份输入的 AV 关联、严格输入截止时间以及 wearer 事件收益。

[官方仓库](https://github.com/ut-vision/SocialInteraction) 本次核查仅将论文发布勾选完成，zero-shot 与 LoRA 实现仍列为待发布；未运行其代码。新版迁移设想见[实验计划](../docs/speaker_aware_thinker_plan_2026-08-28.md)，其中读出分支干预是我们的假设，不是原论文已实现的 Qwen2.5-Omni 在线方案。