17 lines
1.9 KiB
Markdown
17 lines
1.9 KiB
Markdown
|
# LiveKit v1-mini 韩泰评估结果
|
|||
|
|
|
|||
|
|
本机 M4 CPU；6 通录音、44 个判断点，正负各 22。官方中文阈值来自锁定 SDK 的 LOCAL_LANGUAGES[zh]，未对本批数据搜索最优阈值。
|
|||
|
|
|
|||
|
|
| 阈值 | 正确 / 总数 | 准确率 | 误接话（应等待却接话） | 漏接话（应接话却等待） |
|
|||
|
|
| --- | --- | --- | --- | --- |
|
|||
|
|
| 0.355 | 26 / 44 | 59.09% | 16 / 22（72.73%） | 2 / 22（9.09%） |
|
|||
|
|
| 0.5 | 29 / 44 | 65.91% | 11 / 22（50.00%） | 4 / 22（18.18%） |
|
|||
|
|
|
|||
|
|
模型已加载后，框架本地推理调用（包含异步派发）中位数 6.12 ms、P95 7.33 ms；输入准备/前缀重采样中位数 5.84 ms、P95 9.58 ms。模型构造耗时 119.19 ms，不含 Python/Agents 导入，不是完整进程冷启动时间。原生库报告 parallelism=2，不能称为单线程。耗时不等于端点等待时间。
|
|||
|
|
|
|||
|
|
连续曲线每 200 ms 独立计算最近 1.2 秒窗口，并包含精确判断点，非插值生成。全部 44 点验证了重复结果一致，以及修改未来音频不改变输入。本实验读取当前标注；已有其他模型结果来自之前的标注快照，已发现第二通录音有一个判断点从旧结果的 48348 ms 移至当前 48536 ms，其余 43 点时间和标签一致。因此不能直接拿旧 44 点汇总作严格横向排名；旧曲线空心点仍保留原快照时刻。
|
|||
|
|
|
|||
|
|
中文默认阈值下，16 个应等待点误判，仍不能认为解决了韩泰抢话问题。0.5 是预先选定参考值，不是独立验证的最优阈值。小样本手选点仅为探索性回测，点级误接话率不等于连续对话打断率，用户声道可能有机器人回声。
|
|||
|
|
|
|||
|
|
只评估原始模型分数，不含 LiveKit 会话静音、VAD、超时或故障放行策略。预处理采用判断前裁取再重采样，具体差异见上级 README。模型许可限制见上级 README，结果不用于其他模型训练。
|