99 lines
12 KiB
Plaintext
99 lines
12 KiB
Plaintext
SoulX-Duplug / MaAI / Smart Turn：当前44个标注点对比
|
||
|
||
数据：6段录音，can_reply=0/1各22点；标签和音频SHA256与本机基线一致。
|
||
标签中29点来自xlsx草稿、15点没有明确审核信息，结果属于探索性标注点评估。
|
||
|
||
准确率及误判（误放行：不该回复却允许；误阻止：可以回复却拦截）
|
||
SoulX 条件完成分数 >0.5（预先定义的分数口径）：52.3%；误放行21/22，误阻止0/22；TN/FP/FN/TP=1/21/0/22
|
||
SoulX 条件完成分数 >0.8：54.5%；误放行20/22，误阻止0/22；TN/FP/FN/TP=2/20/0/22
|
||
SoulX 原生状态派生can_reply（辅助映射）：59.1%；误放行14/22，误阻止4/22；TN/FP/FN/TP=8/14/4/18
|
||
MaAI p_now_robot >0.5：75.0%；误放行7/22，误阻止4/22；TN/FP/FN/TP=15/7/4/18
|
||
MaAI p_now_robot >0.8：63.6%；误放行4/22，误阻止12/22；TN/FP/FN/TP=18/4/12/10
|
||
MaAI 1-p_now_user >0.11（本批误阻止为0的补充方案）：61.4%；误放行17/22，误阻止0/22；TN/FP/FN/TP=5/17/0/22
|
||
Smart Turn >0.5：59.1%；误放行18/22，误阻止0/22；TN/FP/FN/TP=4/18/0/22
|
||
Smart Turn >0.8：63.6%；误放行16/22，误阻止0/22；TN/FP/FN/TP=6/16/0/22
|
||
|
||
MaAI补充方案：1-p_now_user >0.11；在本批44点中与p_now_robot >0.11的判断完全一致。
|
||
可回复点的最低分为0.114651084，来自2c83253a-7977-4e3c-a387-0aa1ea06fbe1 88482ms：尽快，已经影响行车安全了。。
|
||
阈值0.11在这批标签上选择，误阻止0/22、误放行17/22（77.27%），不能保证新数据仍零误阻止；模型推理及已测量计算延迟不变。
|
||
在同为误阻止0的配置下，MaAI 0.11比Smart Turn 0.5少1个误放行，比Smart Turn 0.8多1个误放行。
|
||
|
||
SoulX原生五状态argmax恰为user_complete的诊断指标：{"n": 44, "tn": 22, "fp": 0, "fn": 21, "tp": 1, "accuracy": 0.5227272727272727, "false_reply_rate": 0.0, "false_hold_rate": 0.9545454545454546}
|
||
SoulX内部状态修正后恰为user_complete的诊断指标：{"n": 44, "tn": 22, "fp": 0, "fn": 21, "tp": 1, "accuracy": 0.5227272727272727, "false_reply_rate": 0.0, "false_hold_rate": 0.9545454545454546}
|
||
主指标在每个判断点比较complete/incomplete logits，排除idle/nonidle等类别后归一化；分数不是官方校准的can_reply概率。
|
||
原生状态诊断与主指标不是同一种决策，不能把主指标宣称为完整官方服务效果。
|
||
补充原生状态映射：开始为不可回复；complete置为可回复，incomplete/nonidle置为不可回复，idle/backchannel保持前值。只使用该标注点之前的原生预测，不加入超时、外部结束信号或音频清空。
|
||
这是为区分瞬时完成事件与持续可回复状态而增加的辅助映射，保留预先定义的条件分数结果，未按标签调参。
|
||
只在complete/incomplete间归一化，会忽略idle/nonidle等类别，可能产生虚高分数；条件分数结果不能直接代表原生SoulX性能。
|
||
SoulX使用用户单声道及最多19.88秒真实音频；MaAI使用双声道及最多20秒；Smart Turn使用用户单声道及最多8秒。
|
||
SoulX每个判断点重新初始化KV，直接使用原生infer，保留内部ASR和状态计算，不使用超时回复、完成后的服务重置或最终整句ASR。
|
||
最终处理块在判断点前40ms结束，前向音频在判断点结束；不读标注点后的音频，也不输入标签转写。
|
||
已知cb3238dc 13540和e304f740 11531存在标注/ASR对齐问题，未改动人工标签。
|
||
|
||
计算延迟（跨机器配置对比）
|
||
MaAI / M4 CPU4线程，每100ms增量：均值4.91ms，P95 5.39ms，样本数3133
|
||
Smart Turn / M4 CPU4线程，8秒窗口：均值11.69ms，P95 12.56ms，样本数220
|
||
Smart Turn / M4 CPU1线程，8秒窗口：均值31.54ms，P95 33.23ms，样本数220
|
||
SoulX / RTX3090 + i5 CPU4线程，每160ms增量，含ASR：均值117.67ms，P95 211.01ms，样本数1956
|
||
SoulX / 同上，扣除cascade ASR调用时间：均值92.06ms，P95 93.73ms，样本数1956
|
||
SoulX全段计算RTF=0.719，超过160ms更新周期的帧比例=21.8%。
|
||
SoulX用CUDA同步后的墙钟计时，分解音频特征/分词器、ASR阶段和状态模型，模型加载与离线重放单独记录。
|
||
扣除cascade ASR的数值仍包括ASR触发检测、文本处理等，不等同于纯状态网络时间。
|
||
MaAI是100ms双声道增量，Smart Turn每次计算8秒窗口，SoulX是160ms增量；处理量和硬件不同，不能据此断言同机速度排名。
|
||
Smart Turn包含约0.16ms重采样；MaAI和SoulX计时输入已为16kHz，重采样/文件解码不包含在增量计时内。
|
||
SoulX实际参数dtype=['torch.float32']；官方配置写bf16但加载器没有转换，本次未添加自动混合精度。
|
||
SoulX点评估平均离线重放=14161.74ms，不作为在线单步延迟。
|
||
SoulX热缓存加载耗时58.03s（不包含Python导入），完整连续测试峰值GPU分配6.18GiB。
|
||
160ms更新周期和40ms前向窗口没有计入计算耗时；约21.8%的帧计算时间超过160ms，应区分平均实时吞吐与局部排队延迟。
|
||
原始最终实验日志有32次ASR list index out of range警告，官方适配器捕获后返回空文本；未过滤这些样本，日志保留以便进一步定位。
|
||
|
||
SoulX误判点（0.5）
|
||
2c83253a-7977-4e3c-a387-0aa1ea06fbe1 48125ms 标签=0 预测=1 p=0.79538 文本=型号是24年380大众帕萨特星空龙腾版。 ASR=零大众帕萨特星空
|
||
2c83253a-7977-4e3c-a387-0aa1ea06fbe1 76672ms 标签=0 预测=1 p=0.93834 文本=恒泰轮胎前门两条轮胎开裂 ASR=条轮胎开裂
|
||
40ae686c-8196-4d7b-b7ad-3e12a427ebb6 65298ms 标签=0 预测=1 p=0.91318 文本=轮胎裂纹。 ASR=轮胎裂纹
|
||
40ae686c-8196-4d7b-b7ad-3e12a427ebb6 67943ms 标签=0 预测=1 p=0.92020 文本=轮胎裂纹同意更换新轮胎。但是 ASR=轮胎裂纹
|
||
40ae686c-8196-4d7b-b7ad-3e12a427ebb6 70430ms 标签=0 预测=1 p=0.85751 文本=轮胎裂纹同意更换新轮胎。但是20 ASR=同意更换新轮胎但是
|
||
a266b9ef-5e47-4434-a04c-ce4eacd52c19 51080ms 标签=0 预测=1 p=0.98390 文本=迈腾2023款330豪华版2.0T。出现的问题是轮购车时间是2024年5月份，里程是6851公里。 ASR=里程是六千八百五十一公
|
||
a266b9ef-5e47-4434-a04c-ce4eacd52c19 68313ms 标签=0 预测=1 p=0.94799 文本=轮胎质量问题规律，排水槽横向竖向龟裂。 ASR=排水槽横向竖向规列
|
||
cb3238dc-3946-42a5-aad8-9b9a54226363 60790ms 标签=0 预测=1 p=0.95275 文本=我的轮胎行驶28000公里。 ASR=平时两万
|
||
cb3238dc-3946-42a5-aad8-9b9a54226363 70745ms 标签=0 预测=1 p=0.99144 文本=轮胎开裂 ASR=轮胎开裂
|
||
e304f740-85d4-427e-9fd6-c5474e9cd737 40701ms 标签=0 预测=1 p=0.93583 文本=帕萨特 ASR=帕萨特
|
||
e304f740-85d4-427e-9fd6-c5474e9cd737 65819ms 标签=0 预测=1 p=0.96201 文本=四条轮胎，最近我在。 ASR=最近我在
|
||
872a1e67-873a-4c49-a598-b38a670afcad 47187ms 标签=0 预测=1 p=0.81395 文本=帕萨特L2025款 ASR=二零二五款
|
||
872a1e67-873a-4c49-a598-b38a670afcad 52326ms 标签=0 预测=1 p=0.98647 文本=我的轮胎开裂了。 ASR=购职的临时离场
|
||
40ae686c-8196-4d7b-b7ad-3e12a427ebb6 48348ms 标签=0 预测=1 p=0.98766 文本=爱车型号是大众帕萨特，购车时间2023年10月份 ASR=购车时间二零二三年十月份
|
||
872a1e67-873a-4c49-a598-b38a670afcad 44810ms 标签=0 预测=1 p=0.96237 文本=帕萨特 ASR=帕萨特pro
|
||
a266b9ef-5e47-4434-a04c-ce4eacd52c19 41219ms 标签=0 预测=1 p=0.87944 文本=迈腾2023款330豪华版2.0T ASR=二点零t
|
||
cb3238dc-3946-42a5-aad8-9b9a54226363 41207ms 标签=0 预测=1 p=0.93903 文本=我是2023年 ASR=我是二零二三年
|
||
cb3238dc-3946-42a5-aad8-9b9a54226363 49204ms 标签=0 预测=1 p=0.95886 文本=我是2023年、2024年1月份购置的迈腾3302023款轿车 ASR=二零二三款的轿车
|
||
cb3238dc-3946-42a5-aad8-9b9a54226363 58424ms 标签=0 预测=1 p=0.93730 文本=我的轮胎 ASR=我的轮胎
|
||
cb3238dc-3946-42a5-aad8-9b9a54226363 73640ms 标签=0 预测=1 p=0.96892 文本=轮胎开裂，行驶28000公里，轮胎开裂 ASR=平时两万八千公里轮胎开裂
|
||
e304f740-85d4-427e-9fd6-c5474e9cd737 62828ms 标签=0 预测=1 p=0.98666 文本=四条轮胎 ASR=四条轮胎
|
||
|
||
SoulX原生状态派生can_reply的误判点（辅助映射）
|
||
2c83253a-7977-4e3c-a387-0aa1ea06fbe1 21780ms 标签=1 预测=0 最后决定状态=<|user_incomplete|> 文本=贵州省遵义市仁怀市。 ASR=然后还是
|
||
2c83253a-7977-4e3c-a387-0aa1ea06fbe1 48125ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=型号是24年380大众帕萨特星空龙腾版。 ASR=零大众帕萨特星空
|
||
2c83253a-7977-4e3c-a387-0aa1ea06fbe1 76672ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=恒泰轮胎前门两条轮胎开裂 ASR=条轮胎开裂
|
||
40ae686c-8196-4d7b-b7ad-3e12a427ebb6 65298ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=轮胎裂纹。 ASR=轮胎裂纹
|
||
872a1e67-873a-4c49-a598-b38a670afcad 17153ms 标签=1 预测=0 最后决定状态=<|user_incomplete|> 文本=我姓宋。 ASR=我先说
|
||
cb3238dc-3946-42a5-aad8-9b9a54226363 13540ms 标签=1 预测=0 最后决定状态=<|user_incomplete|> 文本=辽宁葫芦岛。 ASR=郎
|
||
cb3238dc-3946-42a5-aad8-9b9a54226363 60790ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=我的轮胎行驶28000公里。 ASR=平时两万
|
||
cb3238dc-3946-42a5-aad8-9b9a54226363 70745ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=轮胎开裂 ASR=轮胎开裂
|
||
e304f740-85d4-427e-9fd6-c5474e9cd737 40701ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=帕萨特 ASR=帕萨特
|
||
872a1e67-873a-4c49-a598-b38a670afcad 47187ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=帕萨特L2025款 ASR=二零二五款
|
||
872a1e67-873a-4c49-a598-b38a670afcad 52326ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=我的轮胎开裂了。 ASR=购职的临时离场
|
||
40ae686c-8196-4d7b-b7ad-3e12a427ebb6 48348ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=爱车型号是大众帕萨特，购车时间2023年10月份 ASR=购车时间二零二三年十月份
|
||
a266b9ef-5e47-4434-a04c-ce4eacd52c19 41219ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=迈腾2023款330豪华版2.0T ASR=二点零t
|
||
cb3238dc-3946-42a5-aad8-9b9a54226363 41207ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=我是2023年 ASR=我是二零二三年
|
||
cb3238dc-3946-42a5-aad8-9b9a54226363 49204ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=我是2023年、2024年1月份购置的迈腾3302023款轿车 ASR=二零二三款的轿车
|
||
cb3238dc-3946-42a5-aad8-9b9a54226363 73640ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=轮胎开裂，行驶28000公里，轮胎开裂 ASR=平时两万八千公里轮胎开裂
|
||
e304f740-85d4-427e-9fd6-c5474e9cd737 11531ms 标签=1 预测=0 最后决定状态=<|user_incomplete|> 文本=姓赵 ASR=姓赵
|
||
e304f740-85d4-427e-9fd6-c5474e9cd737 62828ms 标签=0 预测=1 最后决定状态=<|user_complete|> 文本=四条轮胎 ASR=四条轮胎
|
||
|
||
本次数据的判断：
|
||
MaAI在相同误阻止数量4点下，比SoulX原生状态辅助映射少7个误放行（7 vs 14），整体准确率最高。
|
||
SoulX原生状态辅助映射相比Smart Turn 0.5少4个误放行，但多4个误阻止，准确率均为59.1%。
|
||
SoulX误放行主要仍是完整短语中的停顿；原生状态辅助映射的4个误阻止集中在贵州省遵义市仁怀市、我姓宋、辽宁葫芦岛、姓赵，涉及地点/姓名和两个已知对齐疑点。
|
||
条件两类分数整体偏高，0.8阈值仅拦截正确2/22个不可回复点，不适合直接当作当前业务的can_reply概率。
|
||
在本次默认FP32、当前音频及映射配置下，SoulX未显示质量或计算延迟优势；不能推断其他数据、完整官方策略或BF16优化的表现。
|