3.4 KiB
3.4 KiB
对话案例索引
本目录保留54个YAML案例，输入、断言和文件路径均保持原样。执行入口、分组参数及断言格式见评估说明。跨目录测试集定义在../suites.yaml，不会复制这里的案例。
信息采集
| 目录 | 文件名中的场景 | 检查重点 |
|---|---|---|
collection_skip_known_info |
single_all_info / dual_all_info |
一次提供所有信息，只独立确认时间，然后分流 |
| 同上 | dual_fill_missing / dual_bundle_remaining |
分轮补充、批量补充后保留已知字段 |
| 同上 | dual_unclear_injury |
人伤不确定先澄清，再使用已有信息 |
| 同上 | single_no_inferred_count |
历史文件名；最新边界已改为倒车撞固定物提取1，不再问数量 |
time_confirmation |
correction |
首次确认、补充信息、时间更正和再次确认 |
| 同上 | acceptance |
时间确认回答“可以”后直接补问现场，不重复时间确认 |
customer_feedback |
repeated_question |
客户原始多轮反馈，单车描述提取1，后续不重复问数量 |
| 同上 | known_fields |
时间确认与抱怨一起表达时，仍保留已知信息 |
分流与提取边界
| 目录 | 文件名中的场景 | 检查重点 |
|---|---|---|
complex_vehicle |
three_immediate |
首次明确三车追尾立即0003，精确话术及已知字段提取 |
non_motor_vehicle |
all_info |
信息完整的非机动车事故分流 |
| 同上 | self_collision / electric_bicycle |
分轮说明单方碰撞及具体电动自行车表达 |
| 同上 | no_other_vehicle |
“没有其他车”不否定自身非机动车参与 |
| 同上 | explicit_correction |
明确更正车辆类型时更新相关字段 |
| 同上 | zero_count_bundle / zero_count_history |
机动车数量0的提取与跨轮保留 |
no_false |
asr_no_false_0002 / asr_no_false_0003 |
不同ASR噪声序列不误判拒绝或人伤转人工 |
拍照
| 目录 | 文件名中的场景 | 检查重点 |
|---|---|---|
photo_button_guidance |
single_guidance / dual_guidance |
拍照按钮使用说明 |
| 同上 | single_failure / dual_failure |
拍照失败与客户端事件处理 |
| 同上 | single_no_repeat / dual_no_repeat |
已解释后不重复完整说明 |
photo_skip_plate_confirm |
single / dual |
现有拍照状态转换，不额外确认车牌 |
除两份ASR案例仅覆盖direct外，其余场景各有direct和browser_addon两个文件；它们验证不同客户端模式和阶段码前缀，不视为重复文件。相似场景的用户表达、历史路径或字段断言有区别，不因标题相近合并或删除。
常用选择
# 快速回归，7个direct案例
conda run -n py3.11 python -m evals.run --suite smoke --mode direct --list
# 只看三车事故
conda run -n py3.11 python -m evals.run --group complex_vehicle --list
# 只看非机动车零数量保留
conda run -n py3.11 python -m evals.run --group non_motor_vehicle --case zero_count --list
# 组合拍照目录，但只执行一次每个匹配文件
conda run -n py3.11 python -m evals.run --suite photo --group photo_button_guidance --case dual --list
以上命令在仓库根目录执行。去掉--list后运行实际API评估；本地LangGraph入口python -m evals.prompt_compare支持相同筛选参数，执行时还需--output-dir。