Files
ZNJJ-api-server/evals/cases

对话案例索引

本目录保留54个YAML案例,输入、断言和文件路径均保持原样。执行入口、分组参数及断言格式见评估说明。跨目录测试集定义在../suites.yaml,不会复制这里的案例。

信息采集

目录 文件名中的场景 检查重点
collection_skip_known_info single_all_info / dual_all_info 一次提供所有信息,只独立确认时间,然后分流
同上 dual_fill_missing / dual_bundle_remaining 分轮补充、批量补充后保留已知字段
同上 dual_unclear_injury 人伤不确定先澄清,再使用已有信息
同上 single_no_inferred_count 历史文件名;最新边界已改为倒车撞固定物提取1,不再问数量
time_confirmation correction 首次确认、补充信息、时间更正和再次确认
同上 acceptance 时间确认回答“可以”后直接补问现场,不重复时间确认
customer_feedback repeated_question 客户原始多轮反馈,单车描述提取1,后续不重复问数量
同上 known_fields 时间确认与抱怨一起表达时,仍保留已知信息

分流与提取边界

目录 文件名中的场景 检查重点
complex_vehicle three_immediate 首次明确三车追尾立即0003,精确话术及已知字段提取
non_motor_vehicle all_info 信息完整的非机动车事故分流
同上 self_collision / electric_bicycle 分轮说明单方碰撞及具体电动自行车表达
同上 no_other_vehicle “没有其他车”不否定自身非机动车参与
同上 explicit_correction 明确更正车辆类型时更新相关字段
同上 zero_count_bundle / zero_count_history 机动车数量0的提取与跨轮保留
no_false asr_no_false_0002 / asr_no_false_0003 不同ASR噪声序列不误判拒绝或人伤转人工

拍照

目录 文件名中的场景 检查重点
photo_button_guidance single_guidance / dual_guidance 拍照按钮使用说明
同上 single_failure / dual_failure 拍照失败与客户端事件处理
同上 single_no_repeat / dual_no_repeat 已解释后不重复完整说明
photo_skip_plate_confirm single / dual 现有拍照状态转换,不额外确认车牌

除两份ASR案例仅覆盖direct外,其余场景各有direct和browser_addon两个文件;它们验证不同客户端模式和阶段码前缀,不视为重复文件。相似场景的用户表达、历史路径或字段断言有区别,不因标题相近合并或删除。

常用选择

# 快速回归,7个direct案例
conda run -n py3.11 python -m evals.run --suite smoke --mode direct --list

# 只看三车事故
conda run -n py3.11 python -m evals.run --group complex_vehicle --list

# 只看非机动车零数量保留
conda run -n py3.11 python -m evals.run --group non_motor_vehicle --case zero_count --list

# 组合拍照目录,但只执行一次每个匹配文件
conda run -n py3.11 python -m evals.run --suite photo --group photo_button_guidance --case dual --list

以上命令在仓库根目录执行。去掉--list后运行实际API评估;本地LangGraph入口python -m evals.prompt_compare支持相同筛选参数,执行时还需--output-dir。