58 lines
3.4 KiB
Markdown
58 lines
3.4 KiB
Markdown
# 对话案例索引
|
|
|
|
本目录保留54个YAML案例，输入、断言和文件路径均保持原样。执行入口、分组参数及断言格式见[评估说明](../README.md)。跨目录测试集定义在[../suites.yaml](../suites.yaml)，不会复制这里的案例。
|
|
|
|
## 信息采集
|
|
|
|
| 目录 | 文件名中的场景 | 检查重点 |
|
|
| --- | --- | --- |
|
|
| `collection_skip_known_info` | `single_all_info` / `dual_all_info` | 一次提供所有信息，只独立确认时间，然后分流 |
|
|
| 同上 | `dual_fill_missing` / `dual_bundle_remaining` | 分轮补充、批量补充后保留已知字段 |
|
|
| 同上 | `dual_unclear_injury` | 人伤不确定先澄清，再使用已有信息 |
|
|
| 同上 | `single_no_inferred_count` | 历史文件名；最新边界已改为倒车撞固定物提取1，不再问数量 |
|
|
| `time_confirmation` | `correction` | 首次确认、补充信息、时间更正和再次确认 |
|
|
| 同上 | `acceptance` | 时间确认回答“可以”后直接补问现场，不重复时间确认 |
|
|
| `customer_feedback` | `repeated_question` | 客户原始多轮反馈，单车描述提取1，后续不重复问数量 |
|
|
| 同上 | `known_fields` | 时间确认与抱怨一起表达时，仍保留已知信息 |
|
|
|
|
## 分流与提取边界
|
|
|
|
| 目录 | 文件名中的场景 | 检查重点 |
|
|
| --- | --- | --- |
|
|
| `complex_vehicle` | `three_immediate` | 首次明确三车追尾立即0003，精确话术及已知字段提取 |
|
|
| `non_motor_vehicle` | `all_info` | 信息完整的非机动车事故分流 |
|
|
| 同上 | `self_collision` / `electric_bicycle` | 分轮说明单方碰撞及具体电动自行车表达 |
|
|
| 同上 | `no_other_vehicle` | “没有其他车”不否定自身非机动车参与 |
|
|
| 同上 | `explicit_correction` | 明确更正车辆类型时更新相关字段 |
|
|
| 同上 | `zero_count_bundle` / `zero_count_history` | 机动车数量0的提取与跨轮保留 |
|
|
| `no_false` | `asr_no_false_0002` / `asr_no_false_0003` | 不同ASR噪声序列不误判拒绝或人伤转人工 |
|
|
|
|
## 拍照
|
|
|
|
| 目录 | 文件名中的场景 | 检查重点 |
|
|
| --- | --- | --- |
|
|
| `photo_button_guidance` | `single_guidance` / `dual_guidance` | 拍照按钮使用说明 |
|
|
| 同上 | `single_failure` / `dual_failure` | 拍照失败与客户端事件处理 |
|
|
| 同上 | `single_no_repeat` / `dual_no_repeat` | 已解释后不重复完整说明 |
|
|
| `photo_skip_plate_confirm` | `single` / `dual` | 现有拍照状态转换，不额外确认车牌 |
|
|
|
|
除两份ASR案例仅覆盖direct外，其余场景各有direct和browser_addon两个文件；它们验证不同客户端模式和阶段码前缀，不视为重复文件。相似场景的用户表达、历史路径或字段断言有区别，不因标题相近合并或删除。
|
|
|
|
## 常用选择
|
|
|
|
```bash
|
|
# 快速回归，7个direct案例
|
|
conda run -n py3.11 python -m evals.run --suite smoke --mode direct --list
|
|
|
|
# 只看三车事故
|
|
conda run -n py3.11 python -m evals.run --group complex_vehicle --list
|
|
|
|
# 只看非机动车零数量保留
|
|
conda run -n py3.11 python -m evals.run --group non_motor_vehicle --case zero_count --list
|
|
|
|
# 组合拍照目录，但只执行一次每个匹配文件
|
|
conda run -n py3.11 python -m evals.run --suite photo --group photo_button_guidance --case dual --list
|
|
```
|
|
|
|
以上命令在仓库根目录执行。去掉`--list`后运行实际API评估；本地LangGraph入口`python -m evals.prompt_compare`支持相同筛选参数，执行时还需`--output-dir`。
|