docs: define speaker-grounded floor experiment plan
This commit is contained in:
@@ -2,12 +2,18 @@
|
||||
|
||||
- 作者:Mehdi Fatan Serj、Emanuele Mincato、Dimitra Pintzou、Mariella Dimiccoli
|
||||
- 发表:ICASSP 2024,8050–8054
|
||||
- 阅读深度:作者机构摘要及正式会议信息筛选
|
||||
- 记录日期:2026-08-28
|
||||
- 来源:[作者机构](https://www.iri.upc.edu/publications/show/2887)、[DOI](https://doi.org/10.1109/ICASSP48485.2024.10448136)
|
||||
- 阅读深度:方法、数据、输入和预测协议重点阅读
|
||||
- 记录日期:2026-08-30
|
||||
- 来源:[论文](https://arxiv.org/pdf/2310.14859)、[作者机构](https://www.iri.upc.edu/publications/show/2887)、[DOI](https://doi.org/10.1109/ICASSP48485.2024.10448136)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
在 EgoCom 的同步、多视角 embodied 对话数据上,通过多阶段、多流 multimodal transformer 预测轮次。强调不同人物视角和模态间的交互。
|
||||
在 EgoCom 的同步、多视角 embodied 对话数据上,通过多阶段、多流 multimodal transformer
|
||||
融合 audio/video/text,预测 1、3、5、10 秒后的 next speaker。EgoCom 包含三人对话,至少
|
||||
两人佩戴同步音视频眼镜;输入使用预计算视觉、说话人音频和 transcript embeddings,并聚合
|
||||
过去 4、5、10 或 30 秒。
|
||||
|
||||
这是多人时序融合的相关工作,但 EgoCom 不等于 EasyCom,多个参与者摄像机也不同于单 wearer 视角。本轮未完整核对方法、输入因果性及代码,不能直接作为可复现命令来源。
|
||||
这是“多方+第一视角+AVT+未来 next speaker”的直接先例。它与本项目的区别不能只写数据集:
|
||||
其系统依赖多位参与者的同步穿戴视角和已有文本,预测远期 speaker class;本项目目标是单个
|
||||
wearer 传感流下不可见 wearer 的 200ms 级 entry/yield 事件及误触发。论文表格中的高 accuracy
|
||||
还混合了 `Use Prior=True` 条件,不能与本项目逐帧 AP 或事件指标直接比较。
|
||||
|
||||
Reference in New Issue
Block a user