SoulX-Duplug / MaAI / Smart Turn:当前44个标注点对比 数据:6段录音,can_reply=0/1各22点;标签和音频SHA256与本机基线一致。 标签中29点来自xlsx草稿、15点没有明确审核信息,结果属于探索性标注点评估。 准确率及误判(误放行:不该回复却允许;误阻止:可以回复却拦截) SoulX 条件完成分数 >0.5(预先定义的分数口径):52.3%;误放行21/22,误阻止0/22;TN/FP/FN/TP=1/21/0/22 SoulX 条件完成分数 >0.8:54.5%;误放行20/22,误阻止0/22;TN/FP/FN/TP=2/20/0/22 SoulX 原生状态派生can_reply(辅助映射):59.1%;误放行14/22,误阻止4/22;TN/FP/FN/TP=8/14/4/18 MaAI p_now_robot >0.5:75.0%;误放行7/22,误阻止4/22;TN/FP/FN/TP=15/7/4/18 MaAI p_now_robot >0.8:63.6%;误放行4/22,误阻止12/22;TN/FP/FN/TP=18/4/12/10 MaAI 1-p_now_user >0.11(本批误阻止为0的补充方案):61.4%;误放行17/22,误阻止0/22;TN/FP/FN/TP=5/17/0/22 Smart Turn >0.5:59.1%;误放行18/22,误阻止0/22;TN/FP/FN/TP=4/18/0/22 Smart Turn >0.8:63.6%;误放行16/22,误阻止0/22;TN/FP/FN/TP=6/16/0/22 MaAI补充方案:1-p_now_user >0.11;在本批44点中与p_now_robot >0.11的判断完全一致。 可回复点的最低分为0.114651084,来自2c83253a-7977-4e3c-a387-0aa1ea06fbe1 88482ms:尽快,已经影响行车安全了。。 阈值0.11在这批标签上选择,误阻止0/22、误放行17/22(77.27%),不能保证新数据仍零误阻止;模型推理及已测量计算延迟不变。 在同为误阻止0的配置下,MaAI 0.11比Smart Turn 0.5少1个误放行,比Smart Turn 0.8多1个误放行。 SoulX原生五状态argmax恰为user_complete的诊断指标:{"n": 44, "tn": 22, "fp": 0, "fn": 21, "tp": 1, "accuracy": 0.5227272727272727, "false_reply_rate": 0.0, "false_hold_rate": 0.9545454545454546} SoulX内部状态修正后恰为user_complete的诊断指标:{"n": 44, "tn": 22, "fp": 0, "fn": 21, "tp": 1, "accuracy": 0.5227272727272727, "false_reply_rate": 0.0, "false_hold_rate": 0.9545454545454546} 主指标在每个判断点比较complete/incomplete logits,排除idle/nonidle等类别后归一化;分数不是官方校准的can_reply概率。 原生状态诊断与主指标不是同一种决策,不能把主指标宣称为完整官方服务效果。 补充原生状态映射:开始为不可回复;complete置为可回复,incomplete/nonidle置为不可回复,idle/backchannel保持前值。只使用该标注点之前的原生预测,不加入超时、外部结束信号或音频清空。 这是为区分瞬时完成事件与持续可回复状态而增加的辅助映射,保留预先定义的条件分数结果,未按标签调参。 只在complete/incomplete间归一化,会忽略idle/nonidle等类别,可能产生虚高分数;条件分数结果不能直接代表原生SoulX性能。 SoulX使用用户单声道及最多19.88秒真实音频;MaAI使用双声道及最多20秒;Smart Turn使用用户单声道及最多8秒。 SoulX每个判断点重新初始化KV,直接使用原生infer,保留内部ASR和状态计算,不使用超时回复、完成后的服务重置或最终整句ASR。 最终处理块在判断点前40ms结束,前向音频在判断点结束;不读标注点后的音频,也不输入标签转写。 已知cb3238dc 13540和e304f740 11531存在标注/ASR对齐问题,未改动人工标签。 计算延迟(跨机器配置对比) MaAI / M4 CPU4线程,每100ms增量:均值4.91ms,P95 5.39ms,样本数3133 Smart Turn / M4 CPU4线程,8秒窗口:均值11.69ms,P95 12.56ms,样本数220 Smart Turn / M4 CPU1线程,8秒窗口:均值31.54ms,P95 33.23ms,样本数220 SoulX / RTX3090 + i5 CPU4线程,每160ms增量,含ASR:均值117.67ms,P95 211.01ms,样本数1956 SoulX / 同上,扣除cascade ASR调用时间:均值92.06ms,P95 93.73ms,样本数1956 SoulX全段计算RTF=0.719,超过160ms更新周期的帧比例=21.8%。 SoulX用CUDA同步后的墙钟计时,分解音频特征/分词器、ASR阶段和状态模型,模型加载与离线重放单独记录。 扣除cascade ASR的数值仍包括ASR触发检测、文本处理等,不等同于纯状态网络时间。 MaAI是100ms双声道增量,Smart Turn每次计算8秒窗口,SoulX是160ms增量;处理量和硬件不同,不能据此断言同机速度排名。 Smart Turn包含约0.16ms重采样;MaAI和SoulX计时输入已为16kHz,重采样/文件解码不包含在增量计时内。 SoulX实际参数dtype=['torch.float32'];官方配置写bf16但加载器没有转换,本次未添加自动混合精度。 SoulX点评估平均离线重放=14161.74ms,不作为在线单步延迟。 SoulX热缓存加载耗时58.03s(不包含Python导入),完整连续测试峰值GPU分配6.18GiB。 160ms更新周期和40ms前向窗口没有计入计算耗时;约21.8%的帧计算时间超过160ms,应区分平均实时吞吐与局部排队延迟。 原始最终实验日志有32次ASR list index out of range警告,官方适配器捕获后返回空文本;未过滤这些样本,日志保留以便进一步定位。 SoulX误判点(0.5) 2c83253a-7977-4e3c-a387-0aa1ea06fbe1 48125ms 标签=0 预测=1 p=0.79538 文本=型号是24年380大众帕萨特星空龙腾版。 ASR=零大众帕萨特星空 2c83253a-7977-4e3c-a387-0aa1ea06fbe1 76672ms 标签=0 预测=1 p=0.93834 文本=恒泰轮胎前门两条轮胎开裂 ASR=条轮胎开裂 40ae686c-8196-4d7b-b7ad-3e12a427ebb6 65298ms 标签=0 预测=1 p=0.91318 文本=轮胎裂纹。 ASR=轮胎裂纹 40ae686c-8196-4d7b-b7ad-3e12a427ebb6 67943ms 标签=0 预测=1 p=0.92020 文本=轮胎裂纹同意更换新轮胎。但是 ASR=轮胎裂纹 40ae686c-8196-4d7b-b7ad-3e12a427ebb6 70430ms 标签=0 预测=1 p=0.85751 文本=轮胎裂纹同意更换新轮胎。但是20 ASR=同意更换新轮胎但是 a266b9ef-5e47-4434-a04c-ce4eacd52c19 51080ms 标签=0 预测=1 p=0.98390 文本=迈腾2023款330豪华版2.0T。出现的问题是轮购车时间是2024年5月份,里程是6851公里。 ASR=里程是六千八百五十一公 a266b9ef-5e47-4434-a04c-ce4eacd52c19 68313ms 标签=0 预测=1 p=0.94799 文本=轮胎质量问题规律,排水槽横向竖向龟裂。 ASR=排水槽横向竖向规列 cb3238dc-3946-42a5-aad8-9b9a54226363 60790ms 标签=0 预测=1 p=0.95275 文本=我的轮胎行驶28000公里。 ASR=平时两万 cb3238dc-3946-42a5-aad8-9b9a54226363 70745ms 标签=0 预测=1 p=0.99144 文本=轮胎开裂 ASR=轮胎开裂 e304f740-85d4-427e-9fd6-c5474e9cd737 40701ms 标签=0 预测=1 p=0.93583 文本=帕萨特 ASR=帕萨特 e304f740-85d4-427e-9fd6-c5474e9cd737 65819ms 标签=0 预测=1 p=0.96201 文本=四条轮胎,最近我在。 ASR=最近我在 872a1e67-873a-4c49-a598-b38a670afcad 47187ms 标签=0 预测=1 p=0.81395 文本=帕萨特L2025款 ASR=二零二五款 872a1e67-873a-4c49-a598-b38a670afcad 52326ms 标签=0 预测=1 p=0.98647 文本=我的轮胎开裂了。 ASR=购职的临时离场 40ae686c-8196-4d7b-b7ad-3e12a427ebb6 48348ms 标签=0 预测=1 p=0.98766 文本=爱车型号是大众帕萨特,购车时间2023年10月份 ASR=购车时间二零二三年十月份 872a1e67-873a-4c49-a598-b38a670afcad 44810ms 标签=0 预测=1 p=0.96237 文本=帕萨特 ASR=帕萨特pro a266b9ef-5e47-4434-a04c-ce4eacd52c19 41219ms 标签=0 预测=1 p=0.87944 文本=迈腾2023款330豪华版2.0T ASR=二点零t cb3238dc-3946-42a5-aad8-9b9a54226363 41207ms 标签=0 预测=1 p=0.93903 文本=我是2023年 ASR=我是二零二三年 cb3238dc-3946-42a5-aad8-9b9a54226363 49204ms 标签=0 预测=1 p=0.95886 文本=我是2023年、2024年1月份购置的迈腾3302023款轿车 ASR=二零二三款的轿车 cb3238dc-3946-42a5-aad8-9b9a54226363 58424ms 标签=0 预测=1 p=0.93730 文本=我的轮胎 ASR=我的轮胎 cb3238dc-3946-42a5-aad8-9b9a54226363 73640ms 标签=0 预测=1 p=0.96892 文本=轮胎开裂,行驶28000公里,轮胎开裂 ASR=平时两万八千公里轮胎开裂 e304f740-85d4-427e-9fd6-c5474e9cd737 62828ms 标签=0 预测=1 p=0.98666 文本=四条轮胎 ASR=四条轮胎 SoulX原生状态派生can_reply的误判点(辅助映射) 2c83253a-7977-4e3c-a387-0aa1ea06fbe1 21780ms 标签=1 预测=0 最后决定状态=<|user_incomplete|> 文本=贵州省遵义市仁怀市。 ASR=然后还是 2c83253a-7977-4e3c-a387-0aa1ea06fbe1 48125ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=型号是24年380大众帕萨特星空龙腾版。 ASR=零大众帕萨特星空 2c83253a-7977-4e3c-a387-0aa1ea06fbe1 76672ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=恒泰轮胎前门两条轮胎开裂 ASR=条轮胎开裂 40ae686c-8196-4d7b-b7ad-3e12a427ebb6 65298ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=轮胎裂纹。 ASR=轮胎裂纹 872a1e67-873a-4c49-a598-b38a670afcad 17153ms 标签=1 预测=0 最后决定状态=<|user_incomplete|> 文本=我姓宋。 ASR=我先说 cb3238dc-3946-42a5-aad8-9b9a54226363 13540ms 标签=1 预测=0 最后决定状态=<|user_incomplete|> 文本=辽宁葫芦岛。 ASR=郎 cb3238dc-3946-42a5-aad8-9b9a54226363 60790ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=我的轮胎行驶28000公里。 ASR=平时两万 cb3238dc-3946-42a5-aad8-9b9a54226363 70745ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=轮胎开裂 ASR=轮胎开裂 e304f740-85d4-427e-9fd6-c5474e9cd737 40701ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=帕萨特 ASR=帕萨特 872a1e67-873a-4c49-a598-b38a670afcad 47187ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=帕萨特L2025款 ASR=二零二五款 872a1e67-873a-4c49-a598-b38a670afcad 52326ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=我的轮胎开裂了。 ASR=购职的临时离场 40ae686c-8196-4d7b-b7ad-3e12a427ebb6 48348ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=爱车型号是大众帕萨特,购车时间2023年10月份 ASR=购车时间二零二三年十月份 a266b9ef-5e47-4434-a04c-ce4eacd52c19 41219ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=迈腾2023款330豪华版2.0T ASR=二点零t cb3238dc-3946-42a5-aad8-9b9a54226363 41207ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=我是2023年 ASR=我是二零二三年 cb3238dc-3946-42a5-aad8-9b9a54226363 49204ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=我是2023年、2024年1月份购置的迈腾3302023款轿车 ASR=二零二三款的轿车 cb3238dc-3946-42a5-aad8-9b9a54226363 73640ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=轮胎开裂,行驶28000公里,轮胎开裂 ASR=平时两万八千公里轮胎开裂 e304f740-85d4-427e-9fd6-c5474e9cd737 11531ms 标签=1 预测=0 最后决定状态=<|user_incomplete|> 文本=姓赵 ASR=姓赵 e304f740-85d4-427e-9fd6-c5474e9cd737 62828ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=四条轮胎 ASR=四条轮胎 本次数据的判断: MaAI在相同误阻止数量4点下,比SoulX原生状态辅助映射少7个误放行(7 vs 14),整体准确率最高。 SoulX原生状态辅助映射相比Smart Turn 0.5少4个误放行,但多4个误阻止,准确率均为59.1%。 SoulX误放行主要仍是完整短语中的停顿;原生状态辅助映射的4个误阻止集中在贵州省遵义市仁怀市、我姓宋、辽宁葫芦岛、姓赵,涉及地点/姓名和两个已知对齐疑点。 条件两类分数整体偏高,0.8阈值仅拦截正确2/22个不可回复点,不适合直接当作当前业务的can_reply概率。 在本次默认FP32、当前音频及映射配置下,SoulX未显示质量或计算延迟优势;不能推断其他数据、完整官方策略或BF16优化的表现。