1.3 KiB
1.3 KiB
3M-Transformer: A Multi-Stage Multi-Stream Multimodal Transformer for Embodied Turn-Taking Prediction
- 作者：Mehdi Fatan Serj、Emanuele Mincato、Dimitra Pintzou、Mariella Dimiccoli
- 发表：ICASSP 2024，8050–8054
- 阅读深度：方法、数据、输入和预测协议重点阅读
- 记录日期：2026-08-30
- 来源：论文、作者机构、DOI
摘要与项目关系
在 EgoCom 的同步、多视角 embodied 对话数据上，通过多阶段、多流 multimodal transformer 融合 audio/video/text，预测 1、3、5、10 秒后的 next speaker。EgoCom 包含三人对话，至少 两人佩戴同步音视频眼镜；输入使用预计算视觉、说话人音频和 transcript embeddings，并聚合 过去 4、5、10 或 30 秒。
这是“多方＋第一视角＋AVT＋未来 next speaker”的直接先例。它与本项目的区别不能只写数据集：
其系统依赖多位参与者的同步穿戴视角和已有文本，预测远期 speaker class；本项目目标是单个
wearer 传感流下不可见 wearer 的 200ms 级 entry/yield 事件及误触发。论文表格中的高 accuracy
还混合了 Use Prior=True 条件，不能与本项目逐帧 AP 或事件指标直接比较。