19 lines
1.2 KiB
Markdown
19 lines
1.2 KiB
Markdown
|
# TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue
|
||
|
|
|
||
|
|
- 作者：Freeman Jiang 等
|
||
|
|
- 状态：2026 arXiv 预印本及公开 benchmark
|
||
|
|
- 阅读深度：摘要、任务定义、提交因果性和公开 leaderboard 重点阅读
|
||
|
|
- 核查日期：2026-08-30
|
||
|
|
- 来源：[论文](https://arxiv.org/abs/2608.25218)、[benchmark](https://turnbench.sesame.com/)、[官方仓库](https://github.com/SesameAILabs/turnbench)
|
||
|
|
|
||
|
|
## 摘要与项目关系
|
||
|
|
|
||
|
|
建立跨六类对话的双人双通道 EOT/INT benchmark。模型必须提交其作出决定的时间，而不是事后
|
||
|
|
回填事件发生时间；主要指标是固定工作点下的 recall、false-positive rate 和 latency。
|
||
|
|
结果显示 backchannel 密集的对话特别容易造成 interruption false positives，而且现有系统尚未
|
||
|
|
同时达到快速、高召回和低误报。
|
||
|
|
|
||
|
|
它不是多方、音视频或第一视角任务，但提供了比逐帧 AP 更接近 agent 行为的评测依据。
|
||
|
|
本项目应借鉴一对一事件匹配、因果提交时间、匹配召回率和误报预算，同时保留 wearer entry/yield
|
||
|
|
及多方场景分层；不能直接把由二值活动自动派生的 proxy 称为 TurnBench 人工 EOT/INT 真值。
|