docs: clarify realtime interaction positioning and capability status
Quality gate / backend (push) Canceled after 0s
Quality gate / frontend (push) Canceled after 0s

This commit is contained in:
Xin Wang
2026-09-24 02:49:46 +08:00
parent 2649d64b55
commit 56b574d987
12 changed files with 288 additions and 231 deletions
+37 -19
View File
@@ -1,32 +1,50 @@
---
title: 核心功能
description: 项目的主要能力与配置关系。
icon: bot
description: 助手模式、模型、轮次、视觉、工具和知识库的适用范围。
icon: sliders-horizontal
---
# 核心功能
# 功能与配置
## 助手配置
以下“已实现”指仓库有对应运行路径;实际服务还需要有效凭证,并受模型提供方能力约束。[能力状态](/status)列出尚未接通和建议移除的占位内容。
助手是运行时入口,支持提示词、工作流和外部托管三类大脑:
## 选择助手和运行模式
| 类型 | 用途 |
| --- | --- |
| `prompt` | 用提示词驱动的基础对话,可绑定工具。 |
| `workflow` | 用节点图编排对话流程。 |
| `dify` / `fastgpt` / `opencode` | 将对话处理交给外部 Agent 服务。 |
| 助手类型 | Pipeline | Realtime | 说明 |
| --- | --- | --- | --- |
| Prompt | 已实现 | 已实现,有 Provider 限制 | 提示词驱动,可绑定模型及受支持的工具。 |
| Workflow | 已实现 | 已实现,有 Provider 限制 | 用节点编排对话、状态和动作。 |
| Dify / FastGPT / OpenCode | 已实现 | 未实现 | 对话处理交给外部 Agent,语音输入输出仍由平台管线处理。 |
其中 `prompt` 和 `workflow` 支持 `pipeline` 与 `realtime`;外部托管 Agent 仅支持 `pipeline`。
创建助手时,**Pipeline** 需要分别绑定 ASR、LLM、TTS;外部 Agent 助手将 LLM 环节交给外部服务。**Realtime** 绑定一个端到端语音模型资源。模型资源按 `interface_type` 选择适配,填写一个看似兼容的 URL 不会自动生成新的运行适配。
## 模型与知识库
## 模型和交互效果
模型资源按具体协议注册,而不是按厂商名称猜测。当前支持 OpenAI 兼容的 LLM、ASR、TTS、Embedding、Realtime,也支持讯飞 ASR/TTS/SuperTTS、StepFun Realtime,以及 Dify、FastGPT、OpenCode Agent。
| 配置 | 当前状态 | 适用范围 |
| --- | --- | --- |
| OpenAI 兼容 LLM、ASR、TTS | 已实现 | Pipeline;具体兼容性仍需连接测试和语音预览。 |
| 讯飞 ASR、TTS、SuperTTS | 已实现 | Pipeline。 |
| StepFun StepAudio、Qwen Audio Realtime | 已实现 | Realtime;不同 Provider 的工具与轮次能力不相同。 |
| OpenAI Realtime、Gemini Live 底层模型 | 未实现 | 资源定义和示例存在,但语音运行适配尚未接通。 |
| 独立 VAD / EOU 模型替换 | 未实现 | Pipeline 当前使用内置 Silero VAD 与 Local Smart Turn;可以调参数、选策略,不能任意选择模型。 |
知识库可绑定一个 Embedding 模型资源。助手引用知识库后,需先解绑才能删除该知识库。
Pipeline 的“高级交互配置”可以调整 VAD 阈值、开始/停止确认时间、打断检测方式,以及静音等待或 Smart Turn 轮次结束策略。Realtime 模式的 VAD、Smart Turn 等由所选 Provider 的资源设置和会话能力决定;同名参数不保证跨 Provider 行为相同。
## 工具与历史
## 视觉、知识库和工具
- 可复用工具分为 System、HTTP、Client 和 MCP;结束对话属于 System 类别。
- HTTP 工具的 URL、请求头、参数和密钥独立管理。
- Prompt 助手和 Workflow Agent 节点可开启内置系统工具:结束对话、更新状态、跳过本轮、请求人工接管;Workflow 还提供确定性的 Update State 节点。
- 历史记录保留会话、通道、运行模式及消息序列,便于排查对话。
| 能力 | 当前状态 | 使用条件 |
| --- | --- | --- |
| WebRTC 摄像头输入 | 已实现,有条件 | 助手开启视觉、客户端协商视频轨道,运行时按需获取画面;不是任意 Live 模型的连续视频理解。 |
| Realtime 协议图片项 | 已实现,有条件 | 目前仅 Pipeline 模式及已授权视觉的助手支持;Realtime 模式明确拒绝。 |
| 知识库检索 | 已实现,有条件 | 需要 Embedding 模型和已处理的文档,主要用于 Pipeline 的 Prompt/Workflow。 |
| System、HTTP、Client、MCP 工具 | 已实现,有条件 | Pipeline 和 Workflow 按配置执行;Prompt Realtime 的工具能力取决于 Provider 声明。 |
| 会话与消息历史 | 已实现 | 可在管理界面查看通道、运行模式和消息,辅助排查。 |
Prompt Realtime 中,Qwen Audio 已声明部分 HTTP、MCP、Client 和内置工具能力;StepFun Prompt Realtime 尚未声明工具能力。保存助手前,界面和服务端会校验不兼容项。外部 Agent 的上下文、知识库和工具通常由对应服务管理。
## 配置建议
- 需要明确控制 ASR、LLM、TTS、VAD 和轮次结束策略时,先选 Pipeline。
- 需要端到端语音模型时,先选已接通的 StepFun 或 Qwen Audio,再验证该 Provider 的打断与工具行为。
- 需要摄像头时,使用 WebRTC,并在助手中启用视觉;WebSocket 不传连续视频。
- 需要业务客户端集成时,先查看[接入方式](/access)及公开协议的兼容范围。