icassp2027-experiment/literature_notes/16_multimodal_turn_taking_backchannel.md

# Predicting Turn-Taking and Backchannel in Human-Machine Conversations Using Linguistic, Acoustic, and Visual Signals

- 会议：ACL 2025
- 阅读深度：重点章节阅读（2026-08-28 补读数据构造 §3、模态消融 §5）
- 官方链接：https://aclanthology.org/2025.acl-long.743/

## 摘要（中文转述）

该工作构建超过 210 小时的 MM-F2F 对话数据，研究联合语言、声学和视觉线索的轮次转换及 backchannel 预测。框架强调模态间关系，并支持不同输入模态组合。补读发现其为双人面对面对话的词级 KEEP / TURN / BACKCHANNEL 分类，并非我们的 5Hz 多 horizon 活动预测。

## 与当前项目的关系

它支持把笼统的 wearer/others 活动进一步拆成 transition 子类型进行诊断。即使训练标签暂时不变，也可以从目标序列派生 onset、offset、overlap onset 和短促 backchannel-like 片段，分别报告性能，判断模型真正改善了哪种动态。

补充边界：短促语音不必然是 backchannel；仅凭三路活动标签不能得到可靠的互动功能标签。若要报告真正的 backchannel 或说话对象识别，需要相应标注和协议，不能把活动时长规则当作语义真值。

## 补读后的实验启发

论文[正文 Table 3 与 Figure 4](https://aclanthology.org/2025.acl-long.743.pdf)分别观察各行为的 F1，并讨论头部运动、注视和表情线索；整体准确率与各行为的变化并不总同向。因此不能只用总体 mAP 判断视觉贡献。它也不证明任意 audio+video 组合都优于 audio-only，更不能把其 F1 与本项目 AP 直接比较。