fix(prompts): accept conversational time confirmations and improve clarification
This commit is contained in:
+7
-7
@@ -1,6 +1,6 @@
|
||||
# 评估案例与分组运行
|
||||
|
||||
`evals/cases/` 当前保留52个完整对话案例、8个目录分组。每个文件独立创建会话,检查阶段码,以及可选的表单、回复断言。
|
||||
`evals/cases/` 当前保留54个完整对话案例、8个目录分组。每个文件独立创建会话,检查阶段码,以及可选的表单、回复断言。
|
||||
|
||||
- `python -m evals.run`:通过HTTP调用已经启动的API服务,可测试FastGPT或LangGraph后端。
|
||||
- `python -m evals.prompt_compare`:在进程内启动生产文本路由和后端生命周期,使用配置中的真实LLM测试本地LangGraph,不初始化无关语音模型。
|
||||
@@ -31,7 +31,7 @@ conda run -n py3.11 python -m evals.prompt_compare --group complex_vehicle --lis
|
||||
| `customer_feedback` | 4 | 客户原始反馈、连续呼叫、已知信息不重复问 |
|
||||
| `non_motor_vehicle` | 14 | 非机动车参与、零机动车提取、保留已知事实、类型更正 |
|
||||
| `no_false` | 2 | ASR噪声不误转人工 |
|
||||
| `time_confirmation` | 2 | 独立确认完整时间、补充信息保留、更正后重新确认 |
|
||||
| `time_confirmation` | 4 | 独立确认完整时间、补充信息保留、更正后重新确认,以及“可以”认可后不重复问 |
|
||||
| `photo_button_guidance` | 12 | 单双车按钮指引、失败处理、不重复说明 |
|
||||
| `photo_skip_plate_confirm` | 4 | 当前拍照步骤转换,不额外确认车牌 |
|
||||
|
||||
@@ -39,13 +39,13 @@ conda run -n py3.11 python -m evals.prompt_compare --group complex_vehicle --lis
|
||||
|
||||
| 测试集 | 两种模式合计 | 适用场景 |
|
||||
| --- | ---: | --- |
|
||||
| `smoke` | 12 | 修改后的快速回归;配合`--mode direct`仅6个案例 |
|
||||
| `collection` | 36 | 采集提示词、表单保持、时间与事故分流 |
|
||||
| `smoke` | 14 | 修改后的快速回归;配合`--mode direct`仅7个案例 |
|
||||
| `collection` | 38 | 采集提示词、表单保持、时间与事故分流 |
|
||||
| `vehicle_count` | 22 | 数量推断、零机动车、类型更正、三车和客户反馈 |
|
||||
| `safety` | 20 | 复杂事故、非机动车、ASR噪声、不确定人伤 |
|
||||
| `photo` | 16 | 拍照节点和按钮交互 |
|
||||
| `feedback` | 6 | 客户反馈,包括三车立即转人工 |
|
||||
| `full` | 52 | 全量回归;不提供筛选条件也执行全量 |
|
||||
| `feedback` | 8 | 客户反馈,包括三车立即转人工、时间认可不重复问 |
|
||||
| `full` | 54 | 全量回归;不提供筛选条件也执行全量 |
|
||||
|
||||
详细场景索引及保留历史文件名的原因见[cases/README.md](cases/README.md)。
|
||||
|
||||
@@ -92,7 +92,7 @@ conda run -n py3.11 python -m evals.prompt_compare --suite full --workers 4 --ou
|
||||
- 未知分组、未知测试集或空选择返回配置错误,避免把“没有跑任何案例”当作成功。
|
||||
- 案例名必须唯一,避免输出文件相互覆盖。
|
||||
|
||||
此次整理未删除、移动或改写任何原案例。核对结果:同一客户端模式内,没有输入和断言完全相同的重复文件,也没有完整输入序列相同的文件。direct和browser_addon的相似案例验证不同请求模式与阶段码,保留为独立覆盖;只想测一种模式时使用`--mode`减少执行量。共同的欢迎和时间确认轮次是对话上下文的一部分,不单独抽掉。
|
||||
案例整理时未删除、移动或改写当时52个原案例;之后新增两份时间认可回归案例,当前共54份。核对结果:同一客户端模式内,没有输入和断言完全相同的重复文件,也没有完整输入序列相同的文件。direct和browser_addon的相似案例验证不同请求模式与阶段码,保留为独立覆盖;只想测一种模式时使用`--mode`减少执行量。共同的欢迎和时间确认轮次是对话上下文的一部分,不单独抽掉。
|
||||
|
||||
## 新增案例与断言
|
||||
|
||||
|
||||
Reference in New Issue
Block a user