2.6 KiB
2.6 KiB
TurnSense 1.0 FP32 韩泰评估
本机 Apple M4 Mac mini、CPU；六通录音，当前 44 个判断点，正负各 22。只使用判断时已收到的用户左声道音频、末尾最多 8 秒，使用官方特征前端与 CMVN，未输入标注转写。
| 判断规则 | 正确 / 总数 | 准确率 | 误接话（应等待却接话） | 漏接话（应接话却等待） |
|---|---|---|---|---|
| 原生 argmax：complete=>1，其余=>0 | 30 / 44 | 68.18% | 5 / 22（22.73%） | 9 / 22（40.91%） |
| P(complete) ≥ 0.5 | 30 / 44 | 68.18% | 5 / 22（22.73%） | 9 / 22（40.91%） |
本批两种规则得到相同二分类结果，但它们在一般情况下并不等价。原生类别：complete 18 点、incomplete 26 点、invalid 0 点。invalid 输出仍保留，不能据此评估噪声识别能力，因为本批没有独立 invalid 真值。
计算耗时
| 阶段 | p50 | p95 |
|---|---|---|
| 裁取/前缀重采样 | 1.79 ms | 3.05 ms |
| 官方特征前端 | 4.85 ms | 5.63 ms |
| ONNX 模型推理 | 31.06 ms | 35.11 ms |
模型构造 657.70 ms，不含 Python 启动/import，不能称为完整冷启动。CPU intra/inter-op 各 1 线程，已预热；前缀重采样和特征重算不等于在线增量开销。阶段分位数不应相加成总耗时分位数。
解读与比较边界
同一当前标注哈希的 LiveKit v1-mini 在 0.5 下为 29/44，误接话 11、漏接话 4；TurnSense 在 0.5 下为 30/44，误接话 5、漏接话 9。可见这批点上更倾向等待：少误接话，但更多应接话时未接话。样本小、上下文长度不同（8 秒 vs 1.2 秒），不能把这 1 点正确率差异当成稳定优势，更不能宣布已解决抢话。
当前标注第二通一个点已由旧 VAP / Smart Turn 快照的 48348 ms 改为 48536 ms，不能直接用其旧 44 点汇总严格排名。原曲线空心点保留各自评分时刻。
可核验性
- 全部判断点重复模型推理结果完全一致。
- 将判断点之后的音频置零，准备出的模型输入不变。
- 权重 SHA256 与固定 Hugging Face 修订的 LFS SHA256 一致；CMVN 用 Git blob SHA1 核对，并另记 SHA256。
- 模型、CMVN、脚本、前端、标注、录音哈希与环境版本均写入结果，独立环境文档已由另一代理按说明复现 smoke。
- 连续曲线为每 200 ms 实际推理及每个判断点的精确分数，共 2573 个采样点，非插值生成。
44 个手选判断点仅为探索性评估；点级误接话率不等于整段对话抢话率，用户声道可能有机器人回声。不加 VAD 门槛、静音延迟或超时策略。模型为 1.0 FP32，本次没有测试 INT8 或 1.1。