Record speaker-aware AV research and literature
This commit is contained in:
Xin Wang
@@ -1,15 +1,19 @@
|
||||
# Predicting Turn-Taking and Backchannel in Human-Machine Conversations Using Linguistic, Acoustic, and Visual Signals
|
||||
|
||||
- 会议：ACL 2025
|
||||
- 阅读深度：摘要级筛选
|
||||
- 阅读深度：重点章节阅读（2026-08-28 补读数据构造 §3、模态消融 §5）
|
||||
- 官方链接：https://aclanthology.org/2025.acl-long.743/
|
||||
|
||||
## 摘要（中文转述）
|
||||
|
||||
该工作构建超过 210 小时的 MM-F2F 对话数据，研究联合语言、声学和视觉线索的轮次转换及 backchannel 预测。框架强调模态间关系，并支持不同输入模态组合，论文报告其在两个任务上的改进。这里按摘要级证据记录，不把这些结果直接外推到第一视角多人在线预测。
|
||||
该工作构建超过 210 小时的 MM-F2F 对话数据，研究联合语言、声学和视觉线索的轮次转换及 backchannel 预测。框架强调模态间关系，并支持不同输入模态组合。补读发现其为双人面对面对话的词级 KEEP / TURN / BACKCHANNEL 分类，并非我们的 5Hz 多 horizon 活动预测。
|
||||
|
||||
## 与当前项目的关系
|
||||
|
||||
它支持把笼统的 wearer/others 活动进一步拆成 transition 子类型进行诊断。即使训练标签暂时不变，也可以从目标序列派生 onset、offset、overlap onset 和短促 backchannel-like 片段，分别报告性能，判断模型真正改善了哪种动态。
|
||||
|
||||
补充边界：短促语音不必然是 backchannel；仅凭三路活动标签不能得到可靠的互动功能标签。若要报告真正的 backchannel 或说话对象识别，需要相应标注和协议，不能把活动时长规则当作语义真值。
|
||||
|
||||
## 补读后的实验启发
|
||||
|
||||
论文[正文 Table 3 与 Figure 4](https://aclanthology.org/2025.acl-long.743.pdf)分别观察各行为的 F1，并讨论头部运动、注视和表情线索；整体准确率与各行为的变化并不总同向。因此不能只用总体 mAP 判断视觉贡献。它也不证明任意 audio+video 组合都优于 audio-only，更不能把其 F1 与本项目 AP 直接比较。
|
||||
|
||||
@@ -3,7 +3,7 @@
|
||||
- 作者：Liangyang Ouyang 等
|
||||
- 会议：CVPR 2026；预印本初发于 2025 年
|
||||
- 阅读深度：重点章节阅读（问题分析、方法及输入要求）
|
||||
- 记录日期：2026-08-27
|
||||
- 记录日期：2026-08-27；方法与代码状态复核：2026-08-28
|
||||
- 官方来源：[CVF 论文页](https://openaccess.thecvf.com/content/CVPR2026/html/Ouyang_Multi-speaker_Attention_Alignment_for_Multimodal_Social_Interaction_CVPR_2026_paper.html)、[arXiv 正文](https://arxiv.org/pdf/2511.17952)
|
||||
|
||||
## 摘要（中文转述）
|
||||
@@ -17,3 +17,9 @@
|
||||
## 本项目的待验证迁移
|
||||
|
||||
用当前可见 track 的区域特征构成参与者集合，训练音频条件下的融合和逐人活动辅助任务。身份标签可作训练监督；推理若使用真值框或真值说话人归属，必须单列为 oracle 条件，不能与仅原始 AV 的结果混报。还需保留佩戴者和画外/未定位说话人的表示。
|
||||
|
||||
## 2026-08-28 补读
|
||||
|
||||
方法 §4.1–4.2 按话语 token 到人物区域的注意力选择 head，再对同人话语—视觉关系加偏置。因而“在 Thinker 内加人物 attention bias”本身已有直接相关先例；本项目须验证无真值话语身份输入的 AV 关联、严格输入截止时间以及 wearer 事件收益。
|
||||
|
||||
[官方仓库](https://github.com/ut-vision/SocialInteraction) 本次核查仅将论文发布勾选完成，zero-shot 与 LoRA 实现仍列为待发布；未运行其代码。新版迁移设想见[实验计划](../docs/speaker_aware_thinker_plan_2026-08-28.md)，其中读出分支干预是我们的假设，不是原论文已实现的 Qwen2.5-Omni 在线方案。
|
||||
|
||||
@@ -17,3 +17,5 @@ EgoAVU 用数据生成与筛选流程，将第一视角视频中的音频和视
|
||||
## 适用边界
|
||||
|
||||
其任务主要是理解与问答，并非多人轮次预测；大规模指令数据上的微调收益不保证迁移到小规模 EasyCom。由此提出的局部 LoRA、模态 dropout 等是我们的候选控制，而非本次阅读已验证的原作训练结论。
|
||||
|
||||
2026-08-28 核查：[官方 Training 说明](https://github.com/facebookresearch/EgoAVU#training)提供既有 Qwen2.5-Omni 的 LoRA / full SFT 配置。不能将这项工作解读为“已经证明必须额外增加一个模态连接层”。先检验输入组织和冻结模型的局部证据利用，再决定是否需要训练新模块。
|
||||
|
||||
@@ -0,0 +1,18 @@
|
||||
# See, Hear, and Understand: Benchmarking Audiovisual Human Speech Understanding in Multimodal Large Language Models
|
||||
|
||||
- 简称：AV-SpeakerBench
|
||||
- 作者：Le Thien Phuc Nguyen 等
|
||||
- 会议：CVPR **Findings** 2026；不是 CVPR 主会论文集
|
||||
- 阅读深度：摘要及任务设计筛选；未复现
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[CVF 论文页](https://openaccess.thecvf.com/content/CVPR2026F/html/Nguyen_See_Hear_and_Understand_Benchmarking_Audiovisual_Human_Speech_Understanding_in_CVPRF_2026_paper.html)、[论文正文](https://arxiv.org/html/2512.02231)、[官方实现](https://github.com/plnguyen2908/AV-SpeakerBench)
|
||||
|
||||
## 摘要（中文转述）
|
||||
|
||||
该基准以说话人而非整个场景为推理单位，用 3,212 道选择题检验人、语音内容和时间的跨模态关联。问题设计强调仅看视频或仅听音频不应轻易解决所有问题，人工核查保证语音理解与画面证据确实相关。
|
||||
|
||||
## 本项目的启发与边界
|
||||
|
||||
为“视觉有意义”设计证据需求明确的小型诊断：保持音频不变，正确人物视图是否优于遮挡/错配视图？让模型区分多个可见人物，不只预测合并的 others。
|
||||
|
||||
原作是视频理解问答，不是未来轮次或合理打断的标注集。我们仍需独立的 wearer 事件指标、因果 cutoff 和稳定样本选择，不能拿自由文本解释代替预测成绩。
|
||||
@@ -0,0 +1,18 @@
|
||||
# Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models
|
||||
|
||||
- 简称：TCD
|
||||
- 作者：Yanda Li、Yuhan Liu、Zirui Song、Yunchao Wei、Martin Takáč、Salem Lahlou
|
||||
- 会议：ACL **Findings** 2026
|
||||
- 阅读深度：重点章节阅读（方法、架构适用性及开销附录）；未复现
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[ACL 论文页](https://aclanthology.org/2026.findings-acl.733/)、[正文](https://aclanthology.org/2026.findings-acl.733.pdf)
|
||||
|
||||
## 摘要（中文转述）
|
||||
|
||||
统一音频语言模型可能偏向平滑的上下文而弱化瞬态声学信息。TCD 对原音频和平滑后的音频分别编码，用两条路径的词表 logits 差异进行有门控的局部解码修正，无需更新模型参数。实验包含 Qwen2.5-Omni；适用性分析强调 decoder 应能访问有时间结构的音频序列。
|
||||
|
||||
## 本项目的启发与边界
|
||||
|
||||
先保留近期未池化音频 token，检验 Thinker 是否使用起音/停顿线索，是比直接放大 pooled A 更明确的假设。
|
||||
|
||||
原法修改生成词概率，不是 2048D hidden state。直接对 hidden state 做相减不是复现；音频平滑和两路前向也有额外开销。若在流式场景迁移，只可在已观测前缀内构造对比音频。QA 诊断可以参考原方法，wearer 事件预测需另做实验。
|
||||
@@ -0,0 +1,17 @@
|
||||
# ThinkOmni: Lifting Textual Reasoning to Omni-modal Scenarios via Guidance Decoding
|
||||
|
||||
- 作者：Yiran Guan 等
|
||||
- 会议：ICLR 2026（已核查官方 poster 条目）
|
||||
- 阅读深度：重点章节阅读（§3 方法与实验设置）；未复现
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[ICLR 条目](https://iclr.cc/virtual/2026/poster/10007339)、[论文正文](https://arxiv.org/html/2602.23306v1)
|
||||
|
||||
## 摘要（中文转述）
|
||||
|
||||
ThinkOmni 将现成文本推理模型作为 Omni 解码的指导者，不微调 Omni 参数。它在共同文本前缀上对比指导模型与 Omni 文本路径，再结合完整多模态路径，并动态平衡感知与推理信号。实验包含 Qwen2.5-Omni-3B/7B。
|
||||
|
||||
## 本项目的启发与边界
|
||||
|
||||
这是“冻结 Omni 也能改变其推理行为”的直接例子，但不是插入局部特征的免费解决方案：需额外模型、兼容词表/解码和计算预算。其输出目标是文本推理，不是我们的未来活动 head；若只读取状态向量，不能原样迁移词表混合公式。
|
||||
|
||||
优先级低于近期证据读出与逐人输入。可用固定结构化问答检验模型是否识别讲话关系，但推理说明不是社会决策的真值。
|
||||
@@ -0,0 +1,17 @@
|
||||
# On the Structure of Address in Multi-Party Dialogue: From Discrete Labels to Continuous Levels
|
||||
|
||||
- 作者：Taiga Mori、Koji Inoue、Divesh Lala、Tatsuya Kawahara
|
||||
- 会议：SIGDIAL 2026（对话领域专业会议，不标成 ACL 主会）
|
||||
- 阅读深度：重点章节阅读（问题、标注与行为建模）；未复现
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[ACL Anthology](https://aclanthology.org/2026.sigdial-1.47/)、[正文](https://aclanthology.org/2026.sigdial-1.47.pdf)
|
||||
|
||||
## 摘要（中文转述）
|
||||
|
||||
该工作质疑“每句话只对应一个离散听众”的假设，用多标注者判断构造连续 address level，并分析它与后续接话、听者注视及 backchannel 的关系。包含层级因素的统计模型显示，连续表示比简单离散标签具有更好的拟合表现。
|
||||
|
||||
## 本项目的启发与边界
|
||||
|
||||
“有人发声”不足以说明“wearer 应当回复”；是否对 wearer 讲话是值得单独检验的因素。EasyCom 的 `Target_of_Speech` 可启动这一分析，但 Group、None、未知及标注不一致需分别保留，不能强行二值化为“轮到/没轮到 wearer”。
|
||||
|
||||
原论文主要是标注与关系分析，不是已验证的因果在线控制器。过去话语的目标与未来接话存在关联，也不意味着所有未被直接指向的接话都不恰当。
|
||||
@@ -0,0 +1,18 @@
|
||||
# HeadRouter: Dynamic Head-Weight Routing for Task-Adaptive Audio Token Pruning in Large Audio Language Models
|
||||
|
||||
- 作者：Peize He 等
|
||||
- 发表状态：作者官方项目页与仓库宣布 ACM MM 2026 接收；本次未另外核对 ACM 正式论文集
|
||||
- 阅读深度：重点方法/校准章节及官方代码说明；未安装或运行
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[论文](https://arxiv.org/html/2604.23717)、[作者项目页](https://dabdans.github.io/HeadRouter/)、[官方仓库](https://github.com/DabDans/HeadRouter)
|
||||
- 注意：不是同名的图像编辑 HeadRouter
|
||||
|
||||
## 摘要（中文转述）
|
||||
|
||||
该方法观察到音频任务中语义与声学所依赖的注意力头不同，按输入行为混合 head 权重后选择音频 token，实现冻结模型的任务自适应压缩。官方代码提供 Qwen2.5-Omni 集成。其路由分布使用少量开发集统计校准，因此 train-free 不等于完全 data-free。
|
||||
|
||||
## 本项目的启发与边界
|
||||
|
||||
可借鉴 head 分工和探测实现，检验负责近期声学证据的 head 是否有助于 onset/offset。但先保留近期音频，不把“非语音/低能量”全部剪掉：停顿本身可能是轮次线索。
|
||||
|
||||
原论文优化压缩—理解权衡，不直接证明 turn-taking 改善。迁移必须重测因果前缀、KV 一致性及事件性能；不能用测试 session 校准路由参数。
|
||||
@@ -0,0 +1,15 @@
|
||||
# MuVAP: Multimodal Multiparty Voice Activity Projection for Turn-taking Prediction in the Wild
|
||||
|
||||
- 作者：Haotian Qi、Gabriel Skantze
|
||||
- 状态：2026 预印本；作者仓库标注 Interspeech 2026，本轮未找到正式 ISCA 条目
|
||||
- 阅读深度：重点方法、训练、事件评测及局限章节；未运行
|
||||
- 核查日期：2026-08-28
|
||||
- 来源：[论文](https://arxiv.org/html/2606.16731)、[官方仓库](https://github.com/Haotian-Qi/MuVAP)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
将单声道混合音频与逐人脸轨迹结合，先学习声学轮次和因果 ASD 表示，再融合为全局及逐人未来活动预测。用相对发言角色控制多人联合状态空间；任务包含 shift/hold 和 next speaker。是我们逐人时序旁路最直接的相关工作。
|
||||
|
||||
不能把“单声道＋逐人视觉＋因果接话”作为独有贡献。我们的区别需要落在不可见 wearer、讲话对象及受召回约束的误开口上，而不是只换编码器。
|
||||
|
||||
作者承认角色识别存在延迟；验证主要为第三人称双人/三人英语场景。数据预处理的全片身份锚点也需与严格在线 tracking 分开讨论。仓库当前只有 README/LICENSE，写明 code coming soon；不要称已有可直接运行的复现。
|
||||
@@ -0,0 +1,13 @@
|
||||
# Long-Term Social Interaction Context: The Key to Egocentric Addressee Detection
|
||||
|
||||
- 作者：Deqian Kong、Furqan Khan、Xu Zhang、Prateek Singhal、Ying Nian Wu
|
||||
- 发表：ICASSP 2024
|
||||
- 阅读深度：重点方法与输入设定；未运行
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[Amazon Science](https://www.amazon.science/publications/long-term-social-interaction-context-the-key-to-egocentric-addressee-detection)、[论文](https://cdn.amazon.science/64/e3/22da99d74e3097774c7fa907374f/long-term-social-interaction-context-the-key-to-egocentric-addressee-detection.pdf)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
SICNet 在 Ego4D talking-to-me 中结合较长对话历史和人物视觉上下文。对话分支编码转写及 ego/non-ego 信息，视觉分支编码人脸、身体与位置，再融合做讲话对象分类。
|
||||
|
||||
启发是单纯“谁在讲话”不足以确定 wearer 是否应接话。限制是它在话语结束处分类，并使用数据集 diarization 和提供的框；不能把结果直接当作无真值输入的连续预测。我们应将讲话对象作为训练辅助目标，输入仍保持因果混合 AV。官方 TTM 划分与 EgoSpeak 划分需要独立核对。
|
||||
@@ -0,0 +1,13 @@
|
||||
# AV-Dialog: Spoken Dialogue Models with Audio-Visual Input
|
||||
|
||||
- 作者：Tuochao Chen、Bandhav Veluri、Hongyu Gong、Shyamnath Gollakota
|
||||
- 发表：ACL 2026 主会，已核对 ACL Anthology
|
||||
- 阅读深度：重点架构、训练附录和项目发布状态；未运行
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[正式条目](https://aclanthology.org/2026.acl-long.1954/)、[论文](https://arxiv.org/html/2511.11124)、[项目页](https://avdialog.cs.washington.edu/)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
融合视觉流和声学 token，在干扰说话人条件下学习目标人的语音理解、轮次事件与回复，比较分离理解/生成模块和统一模型。支持将人物感知与轮次监督结合，而不只在最终向量上做分类。
|
||||
|
||||
其目标人条件及合成干扰不等同于自由多人交流中的 wearer 进入预测。附录报告 stage 1 使用 128 A100、stage 2 使用 32 A100，完整训练不是本项目低成本起点；应借鉴任务分解，使用现成 Qwen3B 适配。项目页的代码链接仍标记 Coming Soon，不能假设已有可下载完整训练产物。
|
||||
@@ -0,0 +1,13 @@
|
||||
# Multimodal Large Language Models with Fusion Low Rank Adaptation for Device Directed Speech Detection
|
||||
|
||||
- 第一作者：Shruti Palaskar；Apple
|
||||
- 发表：Interspeech 2024
|
||||
- 阅读深度：重点方法、输入与指标章节；未运行
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[ISCA 论文](https://www.isca-archive.org/interspeech_2024/palaskar24_interspeech.pdf)、[Apple](https://machinelearning.apple.com/research/llm-fusion-low-rank)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
FLoRA 通过模态投影、低秩适配及缺失模态处理，让预训练语言模型吸收音视频，判断语音是否对设备发出。使用 BART/T5 系列与私有数据，采用 EER 和固定 false reject rate 下的 false accept rate。
|
||||
|
||||
两点可借鉴：固定召回比较误触发有先例；局部特征可以通过训练适配进入模型，不必局限最终拼接。其任务是 utterance-level device-directed detection，不是 wearer onset。当前均值向量虽可训练映射，却不能被声称保留了原生细粒度媒体 token 的全部信息。
|
||||
@@ -0,0 +1,13 @@
|
||||
# Whisper-Flamingo: Integrating Visual Features into Whisper for Audio-Visual Speech Recognition and Translation
|
||||
|
||||
- 第一作者：Andrew Rouditchenko
|
||||
- 发表：Interspeech 2024
|
||||
- 阅读深度：重点方法、融合消融与官方仓库说明；未运行
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[ISCA](https://www.isca-archive.org/interspeech_2024/rouditchenko24_interspeech.html)、[论文](https://arxiv.org/html/2406.10082)、[代码](https://github.com/roudimit/whisper-flamingo)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
将 AV-HuBERT 视觉特征通过门控 cross-attention 融入 Whisper decoder，在噪声条件改善语音识别和翻译。门控从零开始，初始新增层为恒等变换；适配阶段保留强音频模型。
|
||||
|
||||
这是“内部学习视觉增量”的直接结构参考，比直接修改冻结 hidden state 更有训练依据。但原版不是流式接话模型，也不是自动不退化保证；仍需按可用前缀限制视频/音频。我们优先试少量上层或临时 readout query 的 adapter，不照搬每层宽 cross-attention 的参数开销。
|
||||
@@ -0,0 +1,13 @@
|
||||
# LoCoNet: Long-Short Context Network for Active Speaker Detection
|
||||
|
||||
- 作者：Xizi Wang、Feng Cheng、Gedas Bertasius、David Crandall
|
||||
- 发表：CVPR 2024
|
||||
- 阅读深度：重点方法、训练、Ego4D 实验与代码说明；未运行
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[论文](https://arxiv.org/html/2301.08237)、[CVF 论文](https://openaccess.thecvf.com/content/CVPR2024/papers/Wang_LoCoNet_Long-Short_Context_Network_for_Active_Speaker_Detection_CVPR_2024_paper.pdf)、[官方代码](https://github.com/SJTUwxz/LoCoNet_ASD)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
用较长人物内时序建模和较短跨人物互动建模识别正在发声的人，在包含 Ego4D 的 ASD 数据上验证。提供训练代码和 AVA 预训练权重链接，可作为专门 AV 表征路线。
|
||||
|
||||
原方法对整段序列输出活动，不能直接视为因果未来预测。迁移需检查 temporal convolution、attention 和帧窗口，再训练/评测 causal 版本；不得将包含未来的离线特征接到因果 head。优先借鉴“人内时间＋人际交互”的分解，而非将相同混合音频重复后称为独立音源。
|
||||
@@ -0,0 +1,13 @@
|
||||
# Gaze-Enhanced Multimodal Turn-Taking Prediction in Triadic Conversations
|
||||
|
||||
- 作者：Seongsil Heo、Christi Miller、Calvin Murdock、Michael Proulx
|
||||
- 发表：Interspeech 2025
|
||||
- 阅读深度：重点输入、ConvLSTM/user attention、评测章节
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[ISCA](https://www.isca-archive.org/interspeech_2025/heo25_interspeech.html)、[论文](https://www.isca-archive.org/interspeech_2025/heo25_interspeech.pdf)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
以 gaze、发声位置和 VAD 构建单人表示，再通过跨用户注意力建模三人交互。提供视觉方向与说话角色相关的证据，但使用 Aria 眼动、多通道音频及头运动，而非我们的视频混合单声道。
|
||||
|
||||
其 transition-level 评测包含转变后 1s，不能据此宣称已经实现提前 200ms 开口预测。我们可以借鉴逐人时序结构；不能把视频头朝向估计等同于眼动仪真值，也不能把角色识别指标与未来 onset AP 混用。
|
||||
@@ -0,0 +1,13 @@
|
||||
# Triadic Multi-party Voice Activity Projection for Turn-taking in Spoken Dialogue Systems
|
||||
|
||||
- 作者：Mikey Elmers、Koji Inoue、Divesh Lala、Tatsuya Kawahara
|
||||
- 发表：Interspeech 2025
|
||||
- 阅读深度：重点输入、模型和标签章节
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[ISCA](https://www.isca-archive.org/interspeech_2025/elmers25_interspeech.html)、[论文](https://www.isca-archive.org/interspeech_2025/elmers25_interspeech.pdf)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
将 dyadic VAP 扩展为三人的未来活动预测，通过逐通道表示及跨通道 attention 学习互动，并加入当前活动辅助目标。研究使用三路独立领夹麦克风及既往活动信息。
|
||||
|
||||
启发是将多人活动结构作为预测目标，而不是合并为 others 后再学习所有关系。但它不是单声道视觉落地方案，固定人数联合状态也不自动推广到动态人数。我们的 `local.audio` 不能复制三遍就声称复现了该输入条件。
|
||||
@@ -0,0 +1,13 @@
|
||||
# Visual Cues Support Robust Turn-taking Prediction in Noise
|
||||
|
||||
- 作者：Sam O’Connor Russell、Naomi Harte
|
||||
- 发表：Interspeech 2025
|
||||
- 阅读深度：重点输入、噪声实验及局限章节
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[ISCA](https://www.isca-archive.org/interspeech_2025/oconnorrussell25_interspeech.html)、[论文](https://www.isca-archive.org/interspeech_2025/oconnorrussell25_interspeech.pdf)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
研究预测式轮次模型对噪声的脆弱性，显示噪声训练能帮助多模态模型利用视觉，但对未知噪声和不准转写的泛化有限。视觉特征包括脸部动作、gaze、头姿等；数据为双人视频会议和逐人音轨。
|
||||
|
||||
我们可增加自然重叠、低信噪比、人物可见性分层，避免只看总体 AP；噪声增强应独立于正常社交互动主实验。其双路音频与对齐标注条件不等于 EasyCom 当前的单路混合输入。人为错配视觉导致下降也可能只是分布外错误，不能单独证明社会关系理解。
|
||||
@@ -0,0 +1,13 @@
|
||||
# Attention Bottlenecks for Multimodal Fusion
|
||||
|
||||
- 作者：Arsha Nagrani、Shan Yang、Anurag Arnab、Aren Jansen、Cordelia Schmid、Chen Sun
|
||||
- 发表：NeurIPS 2021
|
||||
- 阅读深度：重点 bottleneck 方法与融合位置消融
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[正式条目](https://proceedings.neurips.cc/paper/2021/hash/76ba9f564ebbc35b1014ac498fafadd0-Abstract.html)、[论文](https://proceedings.neurips.cc/paper/2021/file/76ba9f564ebbc35b1014ac498fafadd0-Paper.pdf)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
MBT 通过少量共享 latent 单元传递跨模态信息，让各模态保留自身处理路径，同时减少全 token 交互成本。论文比较早、中、晚融合，在 AV 分类数据上进行验证。
|
||||
|
||||
可借鉴为逐人 memory 的有限瓶颈和融合层消融，不必让所有帧/所有人物与全部 Thinker token 两两交互。原任务不是流式预测，迁移时必须增加时间可用性 mask。瓶颈是学习式压缩，数量和人物边界是否保留需要消融。
|
||||
@@ -0,0 +1,13 @@
|
||||
# Vision Transformers Are Parameter-Efficient Audio-Visual Learners
|
||||
|
||||
- 作者：Yan-Bo Lin、Yi-Lin Sung、Jie Lei、Mohit Bansal、Gedas Bertasius
|
||||
- 发表：CVPR 2023
|
||||
- 阅读深度：方法段落及官方项目说明；未运行
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[CVF](https://openaccess.thecvf.com/content/CVPR2023/html/Lin_Vision_Transformers_Are_Parameter-Efficient_Audio-Visual_Learners_CVPR_2023_paper.html)、[项目页](https://genjib.github.io/project_page/LAVISH/)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
LAVISH 在冻结 ViT 中插入可训练 latent AV adapter，通过少量 token 压缩和双向跨模态交换实现高效迁移。任务包含 AV 事件等，不要求重新大规模预训练全部模型。
|
||||
|
||||
支持“小型跨模态连接也值得训练”的方案。这里冻结的是 ViT，而非 Qwen Thinker；将其思想用于现有 Omni 必须重新实现接口和时序限制。若 adapter 位于 encoder 内部，原先冻结 encoder 的离线特征不再有效，不能一边改 encoder 一边复用旧输出。
|
||||
@@ -0,0 +1,13 @@
|
||||
# Flamingo: a Visual Language Model for Few-Shot Learning
|
||||
|
||||
- 第一作者：Jean-Baptiste Alayrac
|
||||
- 发表：NeurIPS 2022 主会
|
||||
- 阅读深度：摘要及 gated cross-attention 方法片段筛选
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[正式条目](https://proceedings.neurips.cc/paper_files/paper/2022/hash/960a172bc7fbf0177ccccbb411a7d800-Abstract-Conference.html)、[论文](https://arxiv.org/abs/2204.14198)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
利用桥接视觉和语言模型的结构，使模型能处理交错图像/视频及文本；通过新增视觉交互模块利用预训练骨干。它是门控 cross-attention 内部融合的基础参考，不是本项目需要从头重训的完整系统。
|
||||
|
||||
本项目拟借鉴有限视觉 memory 与局部 adapter，不声称新增 gate 本身构成方法创新。更直接的 AV 迁移证据参见 Whisper-Flamingo 笔记；接话因果性和人物交互仍需本项目独立证明。
|
||||
@@ -0,0 +1,13 @@
|
||||
# Adaptive Unimodal Regulation for Balanced Multimodal Information Acquisition
|
||||
|
||||
- 作者：Chengxiang Huang、Yake Wei、Zequn Yang、Di Hu
|
||||
- 发表：CVPR 2025
|
||||
- 阅读深度：摘要、引言及代码发布核查；尚未复核完整算法
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[CVF](https://openaccess.thecvf.com/content/CVPR2025/html/Huang_Adaptive_Unimodal_Regulation_for_Balanced_Multimodal_Information_Acquisition_CVPR_2025_paper.html)、[代码](https://github.com/GeWu-Lab/InfoReg_CVPR2025)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
InfoReg 研究早期学习时信息强模态主导、弱模态信息获取受抑制的问题，通过调节学习过程改善模态平衡。
|
||||
|
||||
我们 A 明显强于 V，值得检查视觉分支梯度、辅助任务能力和缺失模态训练，但这尚不能诊断为优化失衡，也可能是采样或表示丢失。当前冻结特征无法通过调整 head 梯度修复 encoder 丢失的信息。本论文作为训练策略候选，不作为已经适用的处方。
|
||||
@@ -0,0 +1,13 @@
|
||||
# InfoBridge: Balanced Multimodal Integration through Conditional Dependency Modeling
|
||||
|
||||
- 第一作者：Chenxin Li
|
||||
- 发表：ICCV 2025
|
||||
- 阅读深度：摘要及引言筛选；尚未复核完整算法
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[CVF](https://openaccess.thecvf.com/content/ICCV2025/html/Li_InfoBridge_Balanced_Multimodal_Integration_through_Conditional_Dependency_Modeling_ICCV_2025_paper.html)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
通过条件依赖建模，在跨模态融合和模态独有信息之间取得平衡，避免过强对齐抹掉互补性。
|
||||
|
||||
启发是视觉未必需要重复预测音频已明确提供的发声证据，应保留关系/方向信息。不要把所有人脸都强行与同一混合音频对齐为正例。具体 loss 是否适用需要进一步方法核查；当前优先使用清楚的逐人活动和讲话对象监督。
|
||||
@@ -0,0 +1,13 @@
|
||||
# 3M-Transformer: A Multi-Stage Multi-Stream Multimodal Transformer for Embodied Turn-Taking Prediction
|
||||
|
||||
- 作者：Mehdi Fatan Serj、Emanuele Mincato、Dimitra Pintzou、Mariella Dimiccoli
|
||||
- 发表：ICASSP 2024，8050–8054
|
||||
- 阅读深度：作者机构摘要及正式会议信息筛选
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[作者机构](https://www.iri.upc.edu/publications/show/2887)、[DOI](https://doi.org/10.1109/ICASSP48485.2024.10448136)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
在 EgoCom 的同步、多视角 embodied 对话数据上，通过多阶段、多流 multimodal transformer 预测轮次。强调不同人物视角和模态间的交互。
|
||||
|
||||
这是多人时序融合的相关工作，但 EgoCom 不等于 EasyCom，多个参与者摄像机也不同于单 wearer 视角。本轮未完整核对方法、输入因果性及代码，不能直接作为可复现命令来源。
|
||||
@@ -0,0 +1,12 @@
|
||||
# Multimodal Voice Activity Projection for Turn-Taking in Social Robots with Voice-Activity-Related Pretrained Encoders
|
||||
|
||||
- 状态：2026 预印本；作者声明 RO-MAN 2026 已接收，正式版本待发表
|
||||
- 阅读深度：重点编码器、LoRA、输入窗口和局限章节
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[论文](https://arxiv.org/html/2607.07294)、[发表状态](https://arxiv.org/abs/2607.07294)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
把 TalkNet、Whisper-Flamingo 等与发声相关的 AV 骨干通过 LoRA 适配到双人 VAP，再加入跨人关系建模。为“专门 AV 表征＋参数高效预测适配”提供直接候选。
|
||||
|
||||
不能直接采信为我们的因果基线：方法写到以 t 为中心的输入窗口和逐人信号，且承认尚未实时验证。迁移必须重新限定过去窗口、输入音源和输出可用时间，再报告结果。论文较高离线分数不证明可在相同真实提前量下复现。
|
||||
@@ -0,0 +1,13 @@
|
||||
# Modality Drop-Out for Multimodal Device Directed Speech Detection Using Verbal and Non-Verbal Features
|
||||
|
||||
- 第一作者：Gautam Krishna；Apple
|
||||
- 发表：ICASSP 2024
|
||||
- 阅读深度：摘要及会议信息筛选
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[论文摘要](https://arxiv.org/abs/2310.15261)、[IEEE](https://ieeexplore.ieee.org/document/10446421/)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
研究对设备说话检测中韵律、声学/语言信息融合，以及缺失模态时的稳健性。使用固定工作点的误接受率衡量改进。
|
||||
|
||||
可以作为我们的 fixed-recall 误开口评测与缺失模态对照的参考，但非 verbal 不自动意味着视觉，不能将该韵律工作描述为逐人视觉接话。具体算法尚未完整复核，暂不建议照搬数值或超参数。
|
||||
@@ -2,9 +2,13 @@
|
||||
|
||||
本目录持久化记录我们在本项目讨论中实际阅读、分析或筛选过的论文。这里的“摘要”均为面向当前课题的中文转述，不是原文摘要的复制。
|
||||
|
||||
最后更新：2026-08-27
|
||||
最后更新：2026-08-28
|
||||
|
||||
本轮专题：[多人 AV、多速率流式处理与四条实验路线](2026-08-27_multirate_speaker_aware_routes.md)。新增 21–27 七篇笔记，并补充 01、05、16 的适用边界；摘要级筛选不等同于全文复现。
|
||||
最新专题：[可训练多人 AV 融合、8×L20 与 matched-recall 评测](../docs/trainable_speaker_fusion_survey_2026-08-28.md)。新增 33–49：涵盖逐人时序融合、讲话对象、模型内适配器、模态竞争及专门 AV 编码器，区分正式发表、作者接收声明和未发布代码。计划尚未实施；文献已发表不代表迁移到本项目已有效。
|
||||
|
||||
同日此前专题：[逐人 chunk、train-free Thinker 与 wearer onset/offset 计划](../docs/speaker_aware_thinker_plan_2026-08-28.md)。新增 28–32 五篇笔记，补读 16、23，核查 24 的实现边界。
|
||||
|
||||
此前专题：[多人 AV、多速率流式处理与四条实验路线](2026-08-27_multirate_speaker_aware_routes.md)。保留其当时判断，不用新结果改写历史。
|
||||
|
||||
## 阅读深度
|
||||
|
||||
@@ -31,7 +35,7 @@
|
||||
| 13 | [Video-R2](13_video_r2.md) | 2025 | 摘要级筛选 | 时间对齐奖励与视频推理一致性 |
|
||||
| 14 | [Prompt-Guided Turn-Taking Prediction](14_prompt_guided_turn_taking.md) | 2025 | 摘要级筛选 | 可控式轮次预测 |
|
||||
| 15 | [Multilingual Turn-taking Prediction Using VAP](15_multilingual_vap.md) | 2024 | 摘要级筛选 | VAP、跨语言轮次线索与泛化 |
|
||||
| 16 | [Predicting Turn-Taking and Backchannel](16_multimodal_turn_taking_backchannel.md) | 2025 | 摘要级筛选 | 多模态轮次与 backchannel 分类 |
|
||||
| 16 | [Predicting Turn-Taking and Backchannel](16_multimodal_turn_taking_backchannel.md) | 2025 | 重点章节阅读 | 多模态轮次与 backchannel 分类；双人词级协议 |
|
||||
| 17 | [Action Sensitivity Learning](17_action_sensitivity_learning.md) | 2023 | 摘要级筛选 | 边界敏感重加权，作为 RL 的低风险替代 |
|
||||
| 18 | [LLM-Enhanced Dialogue Management](18_llm_enhanced_dialogue_management.md) | 2025/2026 | 摘要级筛选 | 模块化流式对话控制状态 |
|
||||
| 19 | [Aligning Spoken Dialogue Models from User Interactions](19_aligning_spoken_dialogue_from_interactions.md) | 2025 | 摘要级筛选 | 从用户交互构造偏好数据 |
|
||||
@@ -43,9 +47,35 @@
|
||||
| 25 | [Egocentric Deep Multi-Channel AV Active Speaker Localization](25_egocentric_av_speaker_localization.md) | 2022 | 摘要及引言筛选 | 佩戴者、可见及画外说话人的活动与位置 |
|
||||
| 26 | [Egocentric Auditory Attention Localization in Conversations](26_egocentric_auditory_attention.md) | 2023 | 摘要及引言筛选 | 区分谁在说话与佩戴者在听谁 |
|
||||
| 27 | [OmniMMI](27_omnimmi.md) | 2025 | 摘要级筛选 | 主动流式交互评测与多模态复用 |
|
||||
| 28 | [AV-SpeakerBench / See, Hear, and Understand](28_av_speakerbench.md) | 2026 | 摘要及任务设计筛选 | CVPR Findings；检验真正依赖 AV 的逐人语音理解 |
|
||||
| 29 | [Temporal Contrastive Decoding](29_temporal_contrastive_decoding.md) | 2026 | 重点章节阅读 | ACL Findings；冻结模型对瞬态声学证据的解码干预 |
|
||||
| 30 | [ThinkOmni](30_thinkomni.md) | 2026 | 重点章节阅读 | ICLR；文本推理模型指导 Omni 词表解码 |
|
||||
| 31 | [On the Structure of Address in Multi-Party Dialogue](31_continuous_address_levels.md) | 2026 | 重点章节阅读 | SIGDIAL；讲话对象的连续性及与听者行为的关系 |
|
||||
| 32 | [HeadRouter（音频 token 剪枝）](32_headrouter_audio.md) | 2026 | 重点章节及官方实现说明阅读 | 作者宣布 ACM MM 接收；声学/语义 head 分工与校准 |
|
||||
| 33 | [MuVAP](33_muvap.md) | 2026 | 重点方法、训练和评测阅读 | 单声道逐人因果预测；作者标注 Interspeech，代码待发布 |
|
||||
| 34 | [SICNet / Long-Term Social Interaction Context](34_sicnet_addressee.md) | 2024 | 重点章节阅读 | ICASSP；Ego4D talking-to-me 与提供的身份信息 |
|
||||
| 35 | [AV-Dialog](35_av_dialog.md) | 2026 | 重点章节及训练附录阅读 | ACL 主会；目标人 AV 对话与大规模训练边界 |
|
||||
| 36 | [FLoRA for Device Directed Speech Detection](36_flora_device_directed.md) | 2024 | 重点章节阅读 | Interspeech；模态适配和固定拒绝率误触发 |
|
||||
| 37 | [Whisper-Flamingo](37_whisper_flamingo.md) | 2024 | 重点章节及代码说明阅读 | Interspeech；强音频模型内的门控视觉增量 |
|
||||
| 38 | [LoCoNet](38_loconet.md) | 2024 | 重点章节及代码说明阅读 | CVPR；人内时间、跨人互动，需改造成因果输入 |
|
||||
| 39 | [Gaze-Enhanced Triadic Turn-Taking](39_gaze_triadic_turn_taking.md) | 2025 | 重点章节阅读 | Interspeech；ConvLSTM/人物 attention，额外传感器 |
|
||||
| 40 | [Triadic Multi-party VAP](40_triadic_vap.md) | 2025 | 重点章节阅读 | Interspeech；三人未来活动，但使用逐人麦克风 |
|
||||
| 41 | [Visual Cues Support Robust Turn-taking Prediction in Noise](41_visual_turn_taking_noise.md) | 2025 | 重点章节阅读 | Interspeech；噪声分层、视觉鲁棒性与输入条件 |
|
||||
| 42 | [Attention Bottlenecks for Multimodal Fusion](42_multimodal_bottleneck_transformer.md) | 2021 | 重点章节阅读 | NeurIPS；有限 token 和融合位置 |
|
||||
| 43 | [LAVISH](43_lavish.md) | 2023 | 方法段落及官方项目说明 | CVPR；冻结骨干的低成本 AV 适配 |
|
||||
| 44 | [Flamingo](44_flamingo.md) | 2022 | 摘要及方法片段筛选 | NeurIPS；内部 gated cross-attention 基础结构 |
|
||||
| 45 | [InfoReg](45_inforeg.md) | 2025 | 摘要、引言及代码发布核查 | CVPR；模态竞争候选，尚非本项目已诊断病因 |
|
||||
| 46 | [InfoBridge](46_infobridge.md) | 2025 | 摘要及引言筛选 | ICCV；保护模态独有的互补信息 |
|
||||
| 47 | [3M-Transformer](47_3m_transformer.md) | 2024 | 摘要级筛选 | ICASSP；多视角 EgoCom，区别于单视角 EasyCom |
|
||||
| 48 | [VA-related Pretrained Encoders for MM-VAP](48_va_pretrained_multimodal_vap.md) | 2026 | 重点章节阅读 | 作者声明 RO-MAN 接收；LoRA 与窗口因果性审计 |
|
||||
| 49 | [Modality Drop-Out for DDSD](49_modality_dropout_ddsd.md) | 2024 | 摘要及会议信息筛选 | ICASSP；缺失模态及固定工作点误接受率 |
|
||||
|
||||
## 当前综合判断
|
||||
|
||||
2026-08-28 更新：[encoder-only 完整结果](../results/easycom_encoder_only_1s_4ep_2026-08-28/README.md)显示近期音频与 Thinker 历史互补；普通视觉池化对 wearer 的增益尚不清楚。先补 wearer 专属事件及讲话对象分层，再对照逐人时序旁路和模型内可训练 adapter/LoRA。现有 R1/R2 是全活动变化，不是 wearer onset/offset 的直接评测。MuVAP 等工作使“逐人＋因果融合”不再足以单独构成创新；新假设是对不可见 wearer 的讲话对象条件化预测与受召回约束的第三方误开口降低。
|
||||
|
||||
以下为 2026-08-27 的阶段判断：
|
||||
|
||||
截至 2026-08-27，四状态/BCE 和 R1/R2 的活动预测增益较小；R1/R2 仅有两个已报告 seed，不能视作最终结论。最后四层读取有较大单次增益，但仍需匹配训练配置的多 seed 对照。参见[损失消融](../results/easycom_loss_structure_4ep_2026-08-26/README.md)、[transition 消融](../results/easycom_transition_auxiliary_4ep_2026-08-27/README.md)和[last-4 结果](../results/easycom_frozen_3b_8s_last4_learned_mix_2026-08-26/README.md)。
|
||||
|
||||
当前建议把资源优先投入以下四条待验证路线，而不是继续放大 transition loss 或直接转向通用 RL：
|
||||
|
||||
Reference in New Issue
Block a user