docs: define speaker-grounded floor experiment plan

This commit is contained in:
Xin Wang
2026-08-30 19:18:53 +08:00
parent 6f5115f299
commit b74e905870
9 changed files with 546 additions and 37 deletions
+11 -5
View File
@@ -2,12 +2,18 @@
- 作者:Mehdi Fatan Serj、Emanuele Mincato、Dimitra Pintzou、Mariella Dimiccoli
- 发表:ICASSP 2024,8050–8054
- 阅读深度:作者机构摘要及正式会议信息筛选
- 记录日期:2026-08-28
- 来源:[作者机构](https://www.iri.upc.edu/publications/show/2887)、[DOI](https://doi.org/10.1109/ICASSP48485.2024.10448136)
- 阅读深度:方法、数据、输入和预测协议重点阅读
- 记录日期:2026-08-30
- 来源:[论文](https://arxiv.org/pdf/2310.14859)、[作者机构](https://www.iri.upc.edu/publications/show/2887)、[DOI](https://doi.org/10.1109/ICASSP48485.2024.10448136)
## 摘要与项目关系
在 EgoCom 的同步、多视角 embodied 对话数据上,通过多阶段、多流 multimodal transformer 预测轮次。强调不同人物视角和模态间的交互。
在 EgoCom 的同步、多视角 embodied 对话数据上,通过多阶段、多流 multimodal transformer
融合 audio/video/text,预测 1、3、5、10 秒后的 next speaker。EgoCom 包含三人对话,至少
两人佩戴同步音视频眼镜;输入使用预计算视觉、说话人音频和 transcript embeddings,并聚合
过去 4、5、10 或 30 秒。
这是多人时序融合的相关工作,但 EgoCom 不等于 EasyCom,多个参与者摄像机也不同于单 wearer 视角。本轮未完整核对方法、输入因果性及代码,不能直接作为可复现命令来源。
这是“多方+第一视角+AVT+未来 next speaker”的直接先例。它与本项目的区别不能只写数据集:
其系统依赖多位参与者的同步穿戴视角和已有文本,预测远期 speaker class;本项目目标是单个
wearer 传感流下不可见 wearer 的 200ms 级 entry/yield 事件及误触发。论文表格中的高 accuracy
还混合了 `Use Prior=True` 条件,不能与本项目逐帧 AP 或事件指标直接比较。