MaAI ch_kyoto 在工作数据判断点上的 can_reply 映射评估 日期:2026-10-13 映射规则 主要结果采用 p_now[1] > 0.5:把“机器人在未来约0–0.6秒的相对活动占比”映射为可回复。 另外评估 p_future[1] > 0.5(约0.6–2秒),以及 p_now[1] 和 p_future[1] 同时超过0.5。 这些是本次明确设定的代理判断规则,不是 MaAI 官方的 can_reply 校准输出。没有加入 VAD 停止门槛、结束信号或超时强制放行。 输入与运行 MaAI 0.2.22,ch_kyoto 降噪 VAP(CPC编码器),CPU,4线程,10 Hz,20秒上下文,KV cache。 每个 decision_ms 从其之前裁取最多20秒的双声道音频,先裁剪后重采样到16kHz;第1声道用户、第2声道机器人。 窗口以判断点结束,长度为100毫秒整数倍,最终一帧准确结束在 decision_ms,没有使用判断点之后的音频。不足20秒时,仅丢弃录音开头不足100毫秒的残段。 每个点重新构造模型,重置CPC循环状态和VAP缓存,避免不同点互相污染。该方式不同于从录音起点连续运行到判断时刻,且与Smart Turn的用户单声道/最多8秒上下文不同。 44个点全部跑过真实模型推理,共耗时约45.4秒(包含逐点重载和重放)。原始人工标注未修改。 主要结果:p_now[1] > 0.5 准确率:33/44 = 75.00%。 人工允许接话22个:正确放行18个,误阻止4个,检出率81.82%。 人工要求等待22个:正确等待15个,误放行7个,误放行率31.82%。 放行精确率:18/25 = 72.00%。F1 = 0.7660。 与已有Smart Turn结果对照 Smart Turn阈值0.5:准确率59.09%,误放行18/22,误阻止0/22。 MaAI映射阈值0.5:准确率75.00%,误放行7/22,误阻止4/22。 MaAI修正了11个Smart Turn误放行点,新增4个误阻止点。 两个模型使用相同的44个判断点和人工标签,但输入声道、上下文长度和输出任务不同。对照仅说明这两种配置在当前选定点上的表现。 阈值0.8 MaAI:正确28/44(63.64%),误放行4/22(18.18%),误阻止12/22(54.55%)。 Smart Turn:正确28/44(63.64%),误放行16/22(72.73%),误阻止0/22。 两者准确率相同,但错误分布明显不同;将相同数字阈值套用到不同输出分数并不代表相同工作点。 其他代理规则:阈值均0.5 p_future[1]:准确率68.18%,误放行9个,误阻止5个。 两个窗口同时通过:准确率72.73%,误放行7个,误阻止5个。 这些对照在同一批标签上进行,不能据此当作独立测试集选参结果。 补充方案:当前标注点误阻止为0(2026-10-14) 沿用TurnBench的分数映射:score = 1 - p_now[用户],can_reply = score > 0.11。 在这44个点中,与p_now[机器人] > 0.11的判断完全一致;原来的0.5主方案保留。 准确率27/44(61.36%),误放行17/22(77.27%),误阻止0/22(0%),正确等待5/22、正确放行22/22。 相比0.5阈值,修正原先4个误阻止,同时新增10个误放行。 可回复点最低分为0.11465108394622803,来自2c83253a的88.482秒“尽快,已经影响行车安全了。”;0.12阈值会重新误阻止这个点。 同为误阻止0的工作点:Smart Turn 0.5误放行18点,MaAI 0.11误放行17点,Smart Turn 0.8误放行16点。 这里只重新映射已保存的模型输出,不改模型、输入、上下文或推理流程,已测量的计算延迟不变。 该阈值使用当前标签选择,不是独立验证,不保证新数据仍为零误阻止。详细配置见zero-false-hold.json;三模型对比已同步更新。 错误分组与样例 17个 mid_turn_pause 中误放行5个,相比Smart Turn的15个减少10个。 5个 unfinished_expression 中误放行2个,相比Smart Turn的3个减少1个。 正确拦截示例:872a1e67在44.810秒“帕萨特”,p_now机器人分数0.3700;40ae686c在48.348秒车型/购车时间组合回答,分数0.3738;e304f740在40.701秒“帕萨特”,分数0.4186。 仍误放行示例:a266b9ef在41.219秒“迈腾2023款330豪华版2.0T”,分数0.9103;cb3238dc在49.204秒车型/购车时间表达,分数0.8601。 误阻止4个: 2c83253a 88.482秒“尽快,已经影响行车安全了。”,分数0.1146。 40ae686c 82.941秒“可以。”,分数0.2714。 872a1e67 17.153秒“我姓宋。”,分数0.4009。 e304f740 29.619秒“投诉。”,分数0.4496。 这说明该代理规则对中间停顿更谨慎,同时会拒绝部分人工已判完成的回答;需回听核对其语气和判断点时刻。 重要数据边界 40ae686c的70.430秒,原录音机器人已经在讲话,p_now机器人分数0.9452,人工标签为等待。MaAI是在预测“谁会说话”,已发生的机器人插话会影响这一代理分数;不能将该分数直接解释为插话是否合适。 排除该机器人正在发声的点后,其余43点正确33个(76.74%),误放行6/21,误阻止4/22。 29个标签仍为xlsx_draft,另外15个未记录标注员/置信度,没有明确回听确认状态。结果属于探索性点级比较,不是正式验收准确率或静音区间抢话率。 先前发现的cb3238dc 13.540秒文本/转写时间冲突、e304f740 11.531秒用户转写缺失仍然保留,不修改人工标签。 输出 predictions.csv:44点的p_now、p_future、vad,0.5/0.8预测、Smart Turn对照、音频窗口和数据标记。 errors.csv:主要规则的11个错误点。 thresholds.csv:三个代理规则在多个阈值下的诊断指标。 summary.json:完整统计、版本、参数、模型/代码/音频/标注SHA256和评估口径。