feat(llm): migrate model calls to LangChain ChatOpenAI
This commit is contained in:
@@ -109,6 +109,11 @@
|
||||
使用与非流式相同的固定文案,不回传底层异常原文。首包前和输出途中
|
||||
都使用同一分类;错误是终止事件,随后不会发送 done。已经建立的
|
||||
SSE HTTP 响应保持 200,调用方检查事件内的业务码。
|
||||
- LangGraph 文本模型调用使用 `langchain-openai.ChatOpenAI` 的 ainvoke/astream;
|
||||
命名 profile 统一映射到 Chat Completions,温度未配置时不发送该参数,
|
||||
EXTRA_BODY 保留原样。callbacks、metadata、tags 从图节点继承,每次尝试
|
||||
标记运行名及 llm_attempt。流式 usage 默认不额外请求,兼容既有网关。
|
||||
提前关闭流时显式关闭 provider 迭代器,避免等待 GC 后才释放 HTTP 连接。
|
||||
- SDK 自动重试关闭,由应用层统一控制;默认首次尝试加 3 次重试,
|
||||
每次尝试总超时 60 秒,退避 1、2、4 秒。单次 LLM 调用理论预算
|
||||
4×60+1+2+4=247 秒(另有响应关闭的清理时间)。FastGPT SDK 的
|
||||
|
||||
Reference in New Issue
Block a user