docs: define speaker-grounded floor experiment plan
This commit is contained in:
@@ -2,9 +2,11 @@
|
||||
|
||||
本目录持久化记录我们在本项目讨论中实际阅读、分析或筛选过的论文。这里的“摘要”均为面向当前课题的中文转述,不是原文摘要的复制。
|
||||
|
||||
最后更新:2026-08-28
|
||||
最后更新:2026-08-30
|
||||
|
||||
最新专题:[可训练多人 AV 融合、8×L20 与 matched-recall 评测](../docs/trainable_speaker_fusion_survey_2026-08-28.md)。新增 33–49:涵盖逐人时序融合、讲话对象、模型内适配器、模态竞争及专门 AV 编码器,区分正式发表、作者接收声明和未发布代码。计划尚未实施;文献已发表不代表迁移到本项目已有效。
|
||||
最新专题:[多方第一视角 AV wearer floor-state prediction 文献 gap 审计](../docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md)。结论是宽泛组件均有先例;仍可信的交集是单 wearer 严格因果流、不可见 wearer 的 entry/yield、逐人 grounding 和事件级评测。MuVAP、EgoSpeak、3M-Transformer、AV-CONV 与在线多方 EOT 必须正面区分。
|
||||
|
||||
此前专题:[可训练多人 AV 融合、8×L20 与 matched-recall 评测](../docs/trainable_speaker_fusion_survey_2026-08-28.md)。新增 33–49:涵盖逐人时序融合、讲话对象、模型内适配器、模态竞争及专门 AV 编码器,区分正式发表、作者接收声明和未发布代码。计划尚未实施;文献已发表不代表迁移到本项目已有效。
|
||||
|
||||
同日此前专题:[逐人 chunk、train-free Thinker 与 wearer onset/offset 计划](../docs/speaker_aware_thinker_plan_2026-08-28.md)。新增 28–32 五篇笔记,补读 16、23,核查 24 的实现边界。
|
||||
|
||||
@@ -69,9 +71,20 @@
|
||||
| 47 | [3M-Transformer](47_3m_transformer.md) | 2024 | 摘要级筛选 | ICASSP;多视角 EgoCom,区别于单视角 EasyCom |
|
||||
| 48 | [VA-related Pretrained Encoders for MM-VAP](48_va_pretrained_multimodal_vap.md) | 2026 | 重点章节阅读 | 作者声明 RO-MAN 接收;LoRA 与窗口因果性审计 |
|
||||
| 49 | [Modality Drop-Out for DDSD](49_modality_dropout_ddsd.md) | 2024 | 摘要及会议信息筛选 | ICASSP;缺失模态及固定工作点误接受率 |
|
||||
| 50 | [Audio-Visual Conversational Graph / AV-CONV](50_av_conversational_graph.md) | 2024 | 问题、输入和标注重点阅读 | CVPR;第一视角逐人 speaking/listening graph,但不是因果未来 wearer action |
|
||||
| 51 | [Online Multimodal End-of-Turn Prediction](51_online_multiparty_eot.md) | 2024 | 任务、采集、方法和局限重点阅读 | ICMI;在线三方 EOT,但依赖实验室 gaze/mocap/独立麦克风 |
|
||||
| 52 | [TurnBench](52_turnbench.md) | 2026 | 任务、因果提交和 leaderboard 重点阅读 | 双人音频事件评测;recall/FPR/latency 范式 |
|
||||
| 53 | [AMusE](53_amuse.md) | 2026 | 摘要及官方论文页筛选 | CVPR;MLLM 多说话人身份、角色和 AV grounding 短板 |
|
||||
|
||||
## 当前综合判断
|
||||
|
||||
2026-08-30 更新:宽泛的“多方 AV turn-taking”已被 MuVAP、3M-Transformer、在线多方 EOT
|
||||
等工作覆盖;“第一视角 AV when-to-speak”已有 EgoSpeak,“逐人第一视角 speaking/listening”
|
||||
已有 AV-CONV。当前可辩护定位是:**单个严格因果第一视角流中,利用 speaker-grounded AV
|
||||
预测不可见 wearer 自身的 floor entry 与 yield,并作事件级误触发/召回/延迟评价**。
|
||||
参见[完整 gap 审计](../docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md)。gap 不替代方法贡献;
|
||||
仍需证明逐人视觉在同 onset recall 下减少第三方交谈期间 false entry,并不损害真实 response。
|
||||
|
||||
2026-08-28 更新:[encoder-only 完整结果](../results/easycom_encoder_only_1s_4ep_2026-08-28/README.md)显示近期音频与 Thinker 历史互补;普通视觉池化对 wearer 的增益尚不清楚。先补 wearer 专属事件及讲话对象分层,再对照逐人时序旁路和模型内可训练 adapter/LoRA。现有 R1/R2 是全活动变化,不是 wearer onset/offset 的直接评测。MuVAP 等工作使“逐人+因果融合”不再足以单独构成创新;新假设是对不可见 wearer 的讲话对象条件化预测与受召回约束的第三方误开口降低。
|
||||
|
||||
以下为 2026-08-27 的阶段判断:
|
||||
|
||||
Reference in New Issue
Block a user