feat(llm): migrate model calls to LangChain ChatOpenAI

This commit is contained in:
Eric Wang
2026-10-24 17:08:46 +08:00
parent 97de142e6d
commit d8d48c26a3
13 changed files with 489 additions and 96 deletions
+5
View File
@@ -109,6 +109,11 @@
使用与非流式相同的固定文案,不回传底层异常原文。首包前和输出途中
都使用同一分类;错误是终止事件,随后不会发送 done。已经建立的
SSE HTTP 响应保持 200,调用方检查事件内的业务码。
- LangGraph 文本模型调用使用 `langchain-openai.ChatOpenAI` 的 ainvoke/astream;
命名 profile 统一映射到 Chat Completions,温度未配置时不发送该参数,
EXTRA_BODY 保留原样。callbacks、metadata、tags 从图节点继承,每次尝试
标记运行名及 llm_attempt。流式 usage 默认不额外请求,兼容既有网关。
提前关闭流时显式关闭 provider 迭代器,避免等待 GC 后才释放 HTTP 连接。
- SDK 自动重试关闭,由应用层统一控制;默认首次尝试加 3 次重试,
每次尝试总超时 60 秒,退避 1、2、4 秒。单次 LLM 调用理论预算
4×60+1+2+4=247 秒(另有响应关闭的清理时间)。FastGPT SDK 的