F4: document task backend operation and publish API contracts
This commit is contained in:
@@ -42,6 +42,21 @@ Pipeline 的“高级交互配置”可以调整 VAD 阈值、开始/停止确
|
||||
|
||||
Prompt Realtime 中,Qwen Audio 已声明部分 HTTP、MCP、Client 和内置工具能力;StepFun Prompt Realtime 尚未声明工具能力。保存助手前,界面和服务端会校验不兼容项。外部 Agent 的上下文、知识库和工具通常由对应服务管理。
|
||||
|
||||
## Speaker 与任务后端
|
||||
|
||||
提示词 Pipeline 可配置「对话模型 Speaker + 任务后端」。Speaker 负责语音交流、澄清与播报,任务后端有独立上下文,执行期间可继续对话。Workflow 和 Realtime 当前不支持任务后端。
|
||||
|
||||
在「组件库 → 任务后端」创建资源,再到提示词助手的「任务后端」区域选择。任务后端不在普通工具列表中,也不需要填写委派函数名。
|
||||
|
||||
| 后端 | 配置 | 执行边界 |
|
||||
| --- | --- | --- |
|
||||
| 内置 Reasoner | 独立 LLM 模型、推理强度、HTTP/MCP 工具白名单、内联技能 | 只有模型已声明支持 `reasoning_effort` 才可选非默认强度;Client 工具不可用于后台执行。技能不能扩大工具权限。 |
|
||||
| 外部 OpenCode | 服务地址、工作目录、用户名/密码,可选 Agent 和远端模型 | 文件、Shell、沙箱与技能由远端环境管理;平台不安装远端软件或技能。 |
|
||||
|
||||
默认任务时限 600 秒,可设置 30–7200 秒,覆盖排队和执行;当前要求单进程运行,全局并发固定 1。展开语音调试中的「后台任务」可查看结果、回答问题或停止任务。插话和语音断线不会自动取消任务;明确停止后需核查执行状态,已发出的操作可能已有副作用。
|
||||
|
||||
应用重启后,OpenCode 仅重新观察已保存的任务句柄;Reasoner 标记为中断,不自动重放工具。真实模型及远端编码环境仍需联调,不能以模拟测试代替真实执行验收。
|
||||
|
||||
## 配置建议
|
||||
|
||||
- 需要明确控制 ASR、LLM、TTS、VAD 和轮次结束策略时,先选 Pipeline。
|
||||
|
||||
@@ -23,6 +23,8 @@ icon: rocket
|
||||
|
||||
保存后从助手详情页打开语音预览。第一次验证建议只检查听取用户语音、生成回复、播放语音和打断;确认基本链路后再添加知识库、视觉、工具或 Workflow。
|
||||
|
||||
确认基本对话链路后,可选配独立任务后端:在「组件库 → 任务后端」创建 Reasoner 或 OpenCode 资源,再回到提示词 Pipeline 助手的「任务后端」区域绑定。Speaker 仍负责对话;Reasoner 使用单独模型与 HTTP/MCP 工具许可,OpenCode 使用其远端执行环境。完整适用范围见[功能与配置](/features)。
|
||||
|
||||
## 3. 接入业务客户端
|
||||
|
||||
语音预览通过后,按[接入方式](/access)选择公开 WebRTC 或 WebSocket。浏览器麦克风需要 localhost 或 HTTPS;公网 WebRTC 通常还要配置 TURN。公开接口以 `assistant:<助手 ID>` 选择助手,第三方客户端不直接提交底层模型密钥。
|
||||
|
||||
@@ -20,6 +20,7 @@ icon: list-checks
|
||||
| Responses 文本接口 | 已实现 | 面向可通过该接口调用的 Pipeline 助手。 |
|
||||
| WebRTC 可选摄像头与视觉处理 | 有条件可用 | 需要助手授权视觉、客户端协商视频轨道,并受运行模式限制。 |
|
||||
| 工具和知识库 | 有条件可用 | 受助手模式、模型 Provider 与资源配置限制。 |
|
||||
| Speaker + 内置 Reasoner / OpenCode 任务后端 | 已实现,有条件 | 仅提示词 Pipeline;需真实模型或远端配置,单进程全局并发 1。推理强度受模型能力声明限制,远端权限/沙箱/技能由 OpenCode 环境管理。 |
|
||||
| 会话与消息历史 | 已实现 | 可在管理界面查看,辅助排查。 |
|
||||
|
||||
## 未实现或尚未承诺
|
||||
|
||||
Reference in New Issue
Block a user