51 lines
3.6 KiB
Plaintext
51 lines
3.6 KiB
Plaintext
---
|
||
title: 核心功能
|
||
description: 助手模式、模型、轮次、视觉、工具和知识库的适用范围。
|
||
icon: sliders-horizontal
|
||
---
|
||
|
||
# 功能与配置
|
||
|
||
以下“已实现”指仓库有对应运行路径；实际服务还需要有效凭证，并受模型提供方能力约束。[能力状态](/status)列出尚未接通和建议移除的占位内容。
|
||
|
||
## 选择助手和运行模式
|
||
|
||
| 助手类型 | Pipeline | Realtime | 说明 |
|
||
| --- | --- | --- | --- |
|
||
| Prompt | 已实现 | 已实现，有 Provider 限制 | 提示词驱动，可绑定模型及受支持的工具。 |
|
||
| Workflow | 已实现 | 已实现，有 Provider 限制 | 用节点编排对话、状态和动作。 |
|
||
| Dify / FastGPT | 已实现 | 未实现 | 对话处理交给外部 Agent，语音输入输出仍由平台管线处理。 |
|
||
|
||
创建助手时，**Pipeline** 需要分别绑定 ASR、LLM、TTS；外部 Agent 助手将 LLM 环节交给外部服务。**Realtime** 绑定一个端到端语音模型资源。模型资源按 `interface_type` 选择适配，填写一个看似兼容的 URL 不会自动生成新的运行适配。
|
||
|
||
## 模型和交互效果
|
||
|
||
| 配置 | 当前状态 | 适用范围 |
|
||
| --- | --- | --- |
|
||
| OpenAI 兼容 LLM、ASR、TTS | 已实现 | Pipeline；具体兼容性仍需连接测试和语音预览。 |
|
||
| 讯飞 ASR、TTS、SuperTTS | 已实现 | Pipeline。 |
|
||
| StepFun StepAudio、Qwen Audio Realtime | 已实现 | Realtime；不同 Provider 的工具与轮次能力不相同。 |
|
||
| OpenAI Realtime、Gemini Live 底层模型 | 未实现 | 资源定义和示例存在，但语音运行适配尚未接通。 |
|
||
| 独立 VAD / EOU 模型替换 | 未实现 | Pipeline 当前使用内置 Silero VAD 与 Local Smart Turn；可以调参数、选策略，不能任意选择模型。 |
|
||
|
||
Pipeline 的“高级交互配置”可以调整 VAD 阈值、开始／停止确认时间、打断检测方式，以及静音等待或 Smart Turn 轮次结束策略。Realtime 模式的 VAD、Smart Turn 等由所选 Provider 的资源设置和会话能力决定；同名参数不保证跨 Provider 行为相同。
|
||
|
||
## 视觉、知识库和工具
|
||
|
||
| 能力 | 当前状态 | 使用条件 |
|
||
| --- | --- | --- |
|
||
| WebRTC 摄像头输入 | 已实现，有条件 | 助手开启视觉、客户端协商视频轨道，运行时按需获取画面；不是任意 Live 模型的连续视频理解。 |
|
||
| Realtime 协议图片项 | 已实现，有条件 | 目前仅 Pipeline 模式及已授权视觉的助手支持；Realtime 模式明确拒绝。 |
|
||
| 知识库检索 | 已实现，有条件 | 需要 Embedding 模型和已处理的文档，主要用于 Pipeline 的 Prompt／Workflow。 |
|
||
| System、HTTP、Client、MCP 工具 | 已实现，有条件 | Pipeline 和 Workflow 按配置执行；Prompt Realtime 的工具能力取决于 Provider 声明。 |
|
||
| 会话与消息历史 | 已实现 | 可在管理界面查看通道、运行模式和消息，辅助排查。 |
|
||
|
||
Prompt Realtime 中，Qwen Audio 已声明部分 HTTP、MCP、Client 和内置工具能力；StepFun Prompt Realtime 尚未声明工具能力。保存助手前，界面和服务端会校验不兼容项。外部 Agent 的上下文、知识库和工具通常由对应服务管理。
|
||
|
||
## 配置建议
|
||
|
||
- 需要明确控制 ASR、LLM、TTS、VAD 和轮次结束策略时，先选 Pipeline。
|
||
- 需要端到端语音模型时，先选已接通的 StepFun 或 Qwen Audio，再验证该 Provider 的打断与工具行为。
|
||
- 需要摄像头时，使用 WebRTC，并在助手中启用视觉；WebSocket 不传连续视频。
|
||
- 需要业务客户端集成时，先查看[接入方式](/access)及公开协议的兼容范围。
|