docs: define speaker-grounded floor experiment plan

2026-08-30 19:18:53 +08:00
parent 6f5115f299
commit b74e905870
9 changed files with 546 additions and 37 deletions
@@ -0,0 +1,18 @@
+# Online Multimodal End-of-Turn Prediction for Three-party Conversations
+
+- 作者：Meng-Chen Lee、Zhigang Deng
+- 发表：ICMI 2024，57–65；Best Paper Runner-up
+- 阅读深度：任务、采集、方法、评测及局限重点阅读
+- 核查日期：2026-08-30
+- 来源：[作者论文 PDF](https://graphics.cs.uh.edu/wp-content/papers/2024/2024-ICMI-OnlineTurnPrediction.pdf)、[DOI](https://doi.org/10.1145/3678957.3685742)
+
+## 摘要与项目关系
+
+用连续窗口及 PLM-GRU 融合文本、韵律、视线和交互状态，在线预测三方对话中的 end-of-turn，
+标注包含 turn-taking、interruption 与 overlap。相对依赖停顿后的 IPU 方法，它强调连续预测
+和低延迟，因此“第一个在线多方 EOT”不能作为本项目 claim。
+
+数据来自受控实验室：八台光学 mocap 相机、每人眼动仪、mocap suit 和独立无线麦克风。
+输入是工程化 gaze/prosody/text/state，而不是自然环境中的单个第一视角原始 AV；任务检测当前
+说话人的 EOT，也不等于预测不可见 wearer 自身何时进入或退出 floor。论文还承认尚未形成
+完整的实时多模态 top-down 系统。