Files
icassp2027-experiment/literature_notes/16_multimodal_turn_taking_backchannel.md
T

842 B

Predicting Turn-Taking and Backchannel in Human-Machine Conversations Using Linguistic, Acoustic, and Visual Signals

摘要(中文转述)

该工作在面对面人机对话中联合研究轮次转换和 backchannel,融合语言、声学和视觉信号,并报告多模态模型相对既有方法的改进。其任务把正常接管、简短反馈和持续倾听视为可区分的互动事件。

与当前项目的关系

它支持把笼统的 wearer/others 活动进一步拆成 transition 子类型进行诊断。即使训练标签暂时不变,也可以从目标序列派生 onset、offset、overlap onset 和短促 backchannel-like 片段,分别报告性能,判断模型真正改善了哪种动态。