icassp2027-experiment/literature_notes/47_3m_transformer.md

# 3M-Transformer: A Multi-Stage Multi-Stream Multimodal Transformer for Embodied Turn-Taking Prediction

- 作者：Mehdi Fatan Serj、Emanuele Mincato、Dimitra Pintzou、Mariella Dimiccoli
- 发表：ICASSP 2024，8050–8054
- 阅读深度：方法、数据、输入和预测协议重点阅读
- 记录日期：2026-08-30
- 来源：[论文](https://arxiv.org/pdf/2310.14859)、[作者机构](https://www.iri.upc.edu/publications/show/2887)、[DOI](https://doi.org/10.1109/ICASSP48485.2024.10448136)

## 摘要与项目关系

在 EgoCom 的同步、多视角 embodied 对话数据上，通过多阶段、多流 multimodal transformer
融合 audio/video/text，预测 1、3、5、10 秒后的 next speaker。EgoCom 包含三人对话，至少
两人佩戴同步音视频眼镜；输入使用预计算视觉、说话人音频和 transcript embeddings，并聚合
过去 4、5、10 或 30 秒。

这是“多方＋第一视角＋AVT＋未来 next speaker”的直接先例。它与本项目的区别不能只写数据集：
其系统依赖多位参与者的同步穿戴视角和已有文本，预测远期 speaker class；本项目目标是单个
wearer 传感流下不可见 wearer 的 200ms 级 entry/yield 事件及误触发。论文表格中的高 accuracy
还混合了 `Use Prior=True` 条件，不能与本项目逐帧 AP 或事件指标直接比较。