docs: define speaker-grounded floor experiment plan
This commit is contained in:
Xin Wang
@@ -2,12 +2,18 @@
|
||||
|
||||
- 作者：Mehdi Fatan Serj、Emanuele Mincato、Dimitra Pintzou、Mariella Dimiccoli
|
||||
- 发表：ICASSP 2024，8050–8054
|
||||
- 阅读深度：作者机构摘要及正式会议信息筛选
|
||||
- 记录日期：2026-08-28
|
||||
- 来源：[作者机构](https://www.iri.upc.edu/publications/show/2887)、[DOI](https://doi.org/10.1109/ICASSP48485.2024.10448136)
|
||||
- 阅读深度：方法、数据、输入和预测协议重点阅读
|
||||
- 记录日期：2026-08-30
|
||||
- 来源：[论文](https://arxiv.org/pdf/2310.14859)、[作者机构](https://www.iri.upc.edu/publications/show/2887)、[DOI](https://doi.org/10.1109/ICASSP48485.2024.10448136)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
在 EgoCom 的同步、多视角 embodied 对话数据上，通过多阶段、多流 multimodal transformer 预测轮次。强调不同人物视角和模态间的交互。
|
||||
在 EgoCom 的同步、多视角 embodied 对话数据上，通过多阶段、多流 multimodal transformer
|
||||
融合 audio/video/text，预测 1、3、5、10 秒后的 next speaker。EgoCom 包含三人对话，至少
|
||||
两人佩戴同步音视频眼镜；输入使用预计算视觉、说话人音频和 transcript embeddings，并聚合
|
||||
过去 4、5、10 或 30 秒。
|
||||
|
||||
这是多人时序融合的相关工作，但 EgoCom 不等于 EasyCom，多个参与者摄像机也不同于单 wearer 视角。本轮未完整核对方法、输入因果性及代码，不能直接作为可复现命令来源。
|
||||
这是“多方＋第一视角＋AVT＋未来 next speaker”的直接先例。它与本项目的区别不能只写数据集：
|
||||
其系统依赖多位参与者的同步穿戴视角和已有文本，预测远期 speaker class；本项目目标是单个
|
||||
wearer 传感流下不可见 wearer 的 200ms 级 entry/yield 事件及误触发。论文表格中的高 accuracy
|
||||
还混合了 `Use Prior=True` 条件，不能与本项目逐帧 AP 或事件指标直接比较。
|
||||
|
||||
@@ -0,0 +1,18 @@
|
||||
# The Audio-Visual Conversational Graph: From an Egocentric-Exocentric Perspective
|
||||
|
||||
- 作者：Wenqi Jia、Miao Liu、Hao Jiang、Ishwarya Ananthabhotla、James M. Rehg、Vamsi Krishna Ithapu、Ruohan Gao
|
||||
- 发表：CVPR 2024，26396–26405
|
||||
- 阅读深度：摘要、问题定义、输入、标注及补充实验重点阅读
|
||||
- 核查日期：2026-08-30
|
||||
- 来源：[CVF](https://openaccess.thecvf.com/content/CVPR2024/html/Jia_The_Audio-Visual_Conversational_Graph_From_an_Egocentric-Exocentric_Perspective_CVPR_2024_paper.html)、[arXiv](https://arxiv.org/abs/2312.12870)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
从第一视角音视频构造动态 conversational graph，同时预测 camera wearer 与画面中各人物的
|
||||
speaking/listening 关系。模型显式融合跨时间、跨人物和跨模态信息，并使用人物头部 crop、
|
||||
空间 mask 与多通道音频。实验数据包含多说话人及并行会话。
|
||||
|
||||
这是“第一视角＋多方＋逐人 AV 交互图”的直接先例，因此不能把这些组件本身作为首次贡献。
|
||||
但其任务是根据约 3s clip 重建各时刻当前的 speaking/listening graph，补充材料说明各帧结果
|
||||
一次性预测；没有建立严格因果的 wearer 未来 entry/yield 事件协议。其多通道音频、提供的头框
|
||||
以及预定义交谈组也不同于本项目的单 wearer 流式输入。
|
||||
@@ -0,0 +1,18 @@
|
||||
# Online Multimodal End-of-Turn Prediction for Three-party Conversations
|
||||
|
||||
- 作者：Meng-Chen Lee、Zhigang Deng
|
||||
- 发表：ICMI 2024，57–65；Best Paper Runner-up
|
||||
- 阅读深度：任务、采集、方法、评测及局限重点阅读
|
||||
- 核查日期：2026-08-30
|
||||
- 来源：[作者论文 PDF](https://graphics.cs.uh.edu/wp-content/papers/2024/2024-ICMI-OnlineTurnPrediction.pdf)、[DOI](https://doi.org/10.1145/3678957.3685742)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
用连续窗口及 PLM-GRU 融合文本、韵律、视线和交互状态，在线预测三方对话中的 end-of-turn，
|
||||
标注包含 turn-taking、interruption 与 overlap。相对依赖停顿后的 IPU 方法，它强调连续预测
|
||||
和低延迟，因此“第一个在线多方 EOT”不能作为本项目 claim。
|
||||
|
||||
数据来自受控实验室：八台光学 mocap 相机、每人眼动仪、mocap suit 和独立无线麦克风。
|
||||
输入是工程化 gaze/prosody/text/state，而不是自然环境中的单个第一视角原始 AV；任务检测当前
|
||||
说话人的 EOT，也不等于预测不可见 wearer 自身何时进入或退出 floor。论文还承认尚未形成
|
||||
完整的实时多模态 top-down 系统。
|
||||
@@ -0,0 +1,18 @@
|
||||
# TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue
|
||||
|
||||
- 作者：Freeman Jiang 等
|
||||
- 状态：2026 arXiv 预印本及公开 benchmark
|
||||
- 阅读深度：摘要、任务定义、提交因果性和公开 leaderboard 重点阅读
|
||||
- 核查日期：2026-08-30
|
||||
- 来源：[论文](https://arxiv.org/abs/2608.25218)、[benchmark](https://turnbench.sesame.com/)、[官方仓库](https://github.com/SesameAILabs/turnbench)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
建立跨六类对话的双人双通道 EOT/INT benchmark。模型必须提交其作出决定的时间，而不是事后
|
||||
回填事件发生时间；主要指标是固定工作点下的 recall、false-positive rate 和 latency。
|
||||
结果显示 backchannel 密集的对话特别容易造成 interruption false positives，而且现有系统尚未
|
||||
同时达到快速、高召回和低误报。
|
||||
|
||||
它不是多方、音视频或第一视角任务，但提供了比逐帧 AP 更接近 agent 行为的评测依据。
|
||||
本项目应借鉴一对一事件匹配、因果提交时间、匹配召回率和误报预算，同时保留 wearer entry/yield
|
||||
及多方场景分层；不能直接把由二值活动自动派生的 proxy 称为 TurnBench 人工 EOT/INT 真值。
|
||||
@@ -0,0 +1,16 @@
|
||||
# AMusE: Audio-Visual Benchmark and Alignment Framework for Agentic Multi-Speaker Understanding
|
||||
|
||||
- 作者：Sanjoy Chowdhury 等
|
||||
- 发表：CVPR 2026，22998–23009
|
||||
- 阅读深度：摘要及官方论文页筛选
|
||||
- 核查日期：2026-08-30
|
||||
- 来源：[CVF](https://openaccess.thecvf.com/content/CVPR2026/html/Chowdhury_AMusE_Audio-Visual_Benchmark_and_Alignment_Framework_for_Agentic_Multi-Speaker_Understanding_CVPR_2026_paper.html)
|
||||
|
||||
## 摘要与项目关系
|
||||
|
||||
系统评估 MLLM 在多说话人对话中的人物身份追踪、角色保持及音视频事件时序 grounding，报告
|
||||
当前通用模型在 agentic multi-speaker understanding 上仍有明显短板。
|
||||
|
||||
该工作不是 wearer floor-entry/yield 预测，也不能作为直接数值基线；它适合与 Multi-speaker
|
||||
Attention Alignment 一起支撑“简单加入视觉并不等于获得逐人社会理解”的动机。引用时应把
|
||||
其 benchmark/理解任务与本项目 200ms 因果行为预测明确分开。
|
||||
@@ -2,9 +2,11 @@
|
||||
|
||||
本目录持久化记录我们在本项目讨论中实际阅读、分析或筛选过的论文。这里的“摘要”均为面向当前课题的中文转述，不是原文摘要的复制。
|
||||
|
||||
最后更新：2026-08-28
|
||||
最后更新：2026-08-30
|
||||
|
||||
最新专题：[可训练多人 AV 融合、8×L20 与 matched-recall 评测](../docs/trainable_speaker_fusion_survey_2026-08-28.md)。新增 33–49：涵盖逐人时序融合、讲话对象、模型内适配器、模态竞争及专门 AV 编码器，区分正式发表、作者接收声明和未发布代码。计划尚未实施；文献已发表不代表迁移到本项目已有效。
|
||||
最新专题：[多方第一视角 AV wearer floor-state prediction 文献 gap 审计](../docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md)。结论是宽泛组件均有先例；仍可信的交集是单 wearer 严格因果流、不可见 wearer 的 entry/yield、逐人 grounding 和事件级评测。MuVAP、EgoSpeak、3M-Transformer、AV-CONV 与在线多方 EOT 必须正面区分。
|
||||
|
||||
此前专题：[可训练多人 AV 融合、8×L20 与 matched-recall 评测](../docs/trainable_speaker_fusion_survey_2026-08-28.md)。新增 33–49：涵盖逐人时序融合、讲话对象、模型内适配器、模态竞争及专门 AV 编码器，区分正式发表、作者接收声明和未发布代码。计划尚未实施；文献已发表不代表迁移到本项目已有效。
|
||||
|
||||
同日此前专题：[逐人 chunk、train-free Thinker 与 wearer onset/offset 计划](../docs/speaker_aware_thinker_plan_2026-08-28.md)。新增 28–32 五篇笔记，补读 16、23，核查 24 的实现边界。
|
||||
|
||||
@@ -69,9 +71,20 @@
|
||||
| 47 | [3M-Transformer](47_3m_transformer.md) | 2024 | 摘要级筛选 | ICASSP；多视角 EgoCom，区别于单视角 EasyCom |
|
||||
| 48 | [VA-related Pretrained Encoders for MM-VAP](48_va_pretrained_multimodal_vap.md) | 2026 | 重点章节阅读 | 作者声明 RO-MAN 接收；LoRA 与窗口因果性审计 |
|
||||
| 49 | [Modality Drop-Out for DDSD](49_modality_dropout_ddsd.md) | 2024 | 摘要及会议信息筛选 | ICASSP；缺失模态及固定工作点误接受率 |
|
||||
| 50 | [Audio-Visual Conversational Graph / AV-CONV](50_av_conversational_graph.md) | 2024 | 问题、输入和标注重点阅读 | CVPR；第一视角逐人 speaking/listening graph，但不是因果未来 wearer action |
|
||||
| 51 | [Online Multimodal End-of-Turn Prediction](51_online_multiparty_eot.md) | 2024 | 任务、采集、方法和局限重点阅读 | ICMI；在线三方 EOT，但依赖实验室 gaze/mocap/独立麦克风 |
|
||||
| 52 | [TurnBench](52_turnbench.md) | 2026 | 任务、因果提交和 leaderboard 重点阅读 | 双人音频事件评测；recall/FPR/latency 范式 |
|
||||
| 53 | [AMusE](53_amuse.md) | 2026 | 摘要及官方论文页筛选 | CVPR；MLLM 多说话人身份、角色和 AV grounding 短板 |
|
||||
|
||||
## 当前综合判断
|
||||
|
||||
2026-08-30 更新：宽泛的“多方 AV turn-taking”已被 MuVAP、3M-Transformer、在线多方 EOT
|
||||
等工作覆盖；“第一视角 AV when-to-speak”已有 EgoSpeak，“逐人第一视角 speaking/listening”
|
||||
已有 AV-CONV。当前可辩护定位是：**单个严格因果第一视角流中，利用 speaker-grounded AV
|
||||
预测不可见 wearer 自身的 floor entry 与 yield，并作事件级误触发/召回/延迟评价**。
|
||||
参见[完整 gap 审计](../docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md)。gap 不替代方法贡献；
|
||||
仍需证明逐人视觉在同 onset recall 下减少第三方交谈期间 false entry，并不损害真实 response。
|
||||
|
||||
2026-08-28 更新：[encoder-only 完整结果](../results/easycom_encoder_only_1s_4ep_2026-08-28/README.md)显示近期音频与 Thinker 历史互补；普通视觉池化对 wearer 的增益尚不清楚。先补 wearer 专属事件及讲话对象分层，再对照逐人时序旁路和模型内可训练 adapter/LoRA。现有 R1/R2 是全活动变化，不是 wearer onset/offset 的直接评测。MuVAP 等工作使“逐人＋因果融合”不再足以单独构成创新；新假设是对不可见 wearer 的讲话对象条件化预测与受召回约束的第三方误开口降低。
|
||||
|
||||
以下为 2026-08-27 的阶段判断：
|
||||
|
||||
Reference in New Issue
Block a user