71 lines
5.5 KiB
Plaintext
71 lines
5.5 KiB
Plaintext
MaAI ch_kyoto 在工作数据判断点上的 can_reply 映射评估
|
||
日期：2026-10-13
|
||
|
||
映射规则
|
||
主要结果采用 p_now[1] > 0.5：把“机器人在未来约0–0.6秒的相对活动占比”映射为可回复。
|
||
另外评估 p_future[1] > 0.5（约0.6–2秒），以及 p_now[1] 和 p_future[1] 同时超过0.5。
|
||
这些是本次明确设定的代理判断规则，不是 MaAI 官方的 can_reply 校准输出。没有加入 VAD 停止门槛、结束信号或超时强制放行。
|
||
|
||
输入与运行
|
||
MaAI 0.2.22，ch_kyoto 降噪 VAP（CPC编码器），CPU，4线程，10 Hz，20秒上下文，KV cache。
|
||
每个 decision_ms 从其之前裁取最多20秒的双声道音频，先裁剪后重采样到16kHz；第1声道用户、第2声道机器人。
|
||
窗口以判断点结束，长度为100毫秒整数倍，最终一帧准确结束在 decision_ms，没有使用判断点之后的音频。不足20秒时，仅丢弃录音开头不足100毫秒的残段。
|
||
每个点重新构造模型，重置CPC循环状态和VAP缓存，避免不同点互相污染。该方式不同于从录音起点连续运行到判断时刻，且与Smart Turn的用户单声道/最多8秒上下文不同。
|
||
44个点全部跑过真实模型推理，共耗时约45.4秒（包含逐点重载和重放）。原始人工标注未修改。
|
||
|
||
主要结果：p_now[1] > 0.5
|
||
准确率：33/44 = 75.00%。
|
||
人工允许接话22个：正确放行18个，误阻止4个，检出率81.82%。
|
||
人工要求等待22个：正确等待15个，误放行7个，误放行率31.82%。
|
||
放行精确率：18/25 = 72.00%。F1 = 0.7660。
|
||
|
||
与已有Smart Turn结果对照
|
||
Smart Turn阈值0.5：准确率59.09%，误放行18/22，误阻止0/22。
|
||
MaAI映射阈值0.5：准确率75.00%，误放行7/22，误阻止4/22。
|
||
MaAI修正了11个Smart Turn误放行点，新增4个误阻止点。
|
||
两个模型使用相同的44个判断点和人工标签，但输入声道、上下文长度和输出任务不同。对照仅说明这两种配置在当前选定点上的表现。
|
||
|
||
阈值0.8
|
||
MaAI：正确28/44（63.64%），误放行4/22（18.18%），误阻止12/22（54.55%）。
|
||
Smart Turn：正确28/44（63.64%），误放行16/22（72.73%），误阻止0/22。
|
||
两者准确率相同，但错误分布明显不同；将相同数字阈值套用到不同输出分数并不代表相同工作点。
|
||
|
||
其他代理规则：阈值均0.5
|
||
p_future[1]：准确率68.18%，误放行9个，误阻止5个。
|
||
两个窗口同时通过：准确率72.73%，误放行7个，误阻止5个。
|
||
这些对照在同一批标签上进行，不能据此当作独立测试集选参结果。
|
||
|
||
补充方案：当前标注点误阻止为0（2026-10-14）
|
||
沿用TurnBench的分数映射：score = 1 - p_now[用户]，can_reply = score > 0.11。
|
||
在这44个点中，与p_now[机器人] > 0.11的判断完全一致；原来的0.5主方案保留。
|
||
准确率27/44（61.36%），误放行17/22（77.27%），误阻止0/22（0%），正确等待5/22、正确放行22/22。
|
||
相比0.5阈值，修正原先4个误阻止，同时新增10个误放行。
|
||
可回复点最低分为0.11465108394622803，来自2c83253a的88.482秒“尽快，已经影响行车安全了。”；0.12阈值会重新误阻止这个点。
|
||
同为误阻止0的工作点：Smart Turn 0.5误放行18点，MaAI 0.11误放行17点，Smart Turn 0.8误放行16点。
|
||
这里只重新映射已保存的模型输出，不改模型、输入、上下文或推理流程，已测量的计算延迟不变。
|
||
该阈值使用当前标签选择，不是独立验证，不保证新数据仍为零误阻止。详细配置见zero-false-hold.json；三模型对比已同步更新。
|
||
|
||
错误分组与样例
|
||
17个 mid_turn_pause 中误放行5个，相比Smart Turn的15个减少10个。
|
||
5个 unfinished_expression 中误放行2个，相比Smart Turn的3个减少1个。
|
||
正确拦截示例：872a1e67在44.810秒“帕萨特”，p_now机器人分数0.3700；40ae686c在48.348秒车型/购车时间组合回答，分数0.3738；e304f740在40.701秒“帕萨特”，分数0.4186。
|
||
仍误放行示例：a266b9ef在41.219秒“迈腾2023款330豪华版2.0T”，分数0.9103；cb3238dc在49.204秒车型/购车时间表达，分数0.8601。
|
||
误阻止4个：
|
||
2c83253a 88.482秒“尽快，已经影响行车安全了。”，分数0.1146。
|
||
40ae686c 82.941秒“可以。”，分数0.2714。
|
||
872a1e67 17.153秒“我姓宋。”，分数0.4009。
|
||
e304f740 29.619秒“投诉。”，分数0.4496。
|
||
这说明该代理规则对中间停顿更谨慎，同时会拒绝部分人工已判完成的回答；需回听核对其语气和判断点时刻。
|
||
|
||
重要数据边界
|
||
40ae686c的70.430秒，原录音机器人已经在讲话，p_now机器人分数0.9452，人工标签为等待。MaAI是在预测“谁会说话”，已发生的机器人插话会影响这一代理分数；不能将该分数直接解释为插话是否合适。
|
||
排除该机器人正在发声的点后，其余43点正确33个（76.74%），误放行6/21，误阻止4/22。
|
||
29个标签仍为xlsx_draft，另外15个未记录标注员/置信度，没有明确回听确认状态。结果属于探索性点级比较，不是正式验收准确率或静音区间抢话率。
|
||
先前发现的cb3238dc 13.540秒文本/转写时间冲突、e304f740 11.531秒用户转写缺失仍然保留，不修改人工标签。
|
||
|
||
输出
|
||
predictions.csv：44点的p_now、p_future、vad，0.5/0.8预测、Smart Turn对照、音频窗口和数据标记。
|
||
errors.csv：主要规则的11个错误点。
|
||
thresholds.csv：三个代理规则在多个阈值下的诊断指标。
|
||
summary.json：完整统计、版本、参数、模型/代码/音频/标注SHA256和评估口径。
|