docs: define speaker-grounded floor experiment plan

This commit is contained in:
Xin Wang
2026-08-30 19:18:53 +08:00
parent 6f5115f299
commit b74e905870
9 changed files with 546 additions and 37 deletions
+18
View File
@@ -0,0 +1,18 @@
# TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue
- 作者:Freeman Jiang 等
- 状态:2026 arXiv 预印本及公开 benchmark
- 阅读深度:摘要、任务定义、提交因果性和公开 leaderboard 重点阅读
- 核查日期:2026-08-30
- 来源:[论文](https://arxiv.org/abs/2608.25218)、[benchmark](https://turnbench.sesame.com/)、[官方仓库](https://github.com/SesameAILabs/turnbench)
## 摘要与项目关系
建立跨六类对话的双人双通道 EOT/INT benchmark。模型必须提交其作出决定的时间,而不是事后
回填事件发生时间;主要指标是固定工作点下的 recall、false-positive rate 和 latency。
结果显示 backchannel 密集的对话特别容易造成 interruption false positives,而且现有系统尚未
同时达到快速、高召回和低误报。
它不是多方、音视频或第一视角任务,但提供了比逐帧 AP 更接近 agent 行为的评测依据。
本项目应借鉴一对一事件匹配、因果提交时间、匹配召回率和误报预算,同时保留 wearer entry/yield
及多方场景分层;不能直接把由二值活动自动派生的 proxy 称为 TurnBench 人工 EOT/INT 真值。