ai-video-fullstack/docs-user/features.mdx

---
title: 核心功能
description: 助手模式、模型、轮次、视觉、工具和知识库的适用范围。
icon: sliders-horizontal
---

# 功能与配置

以下“已实现”指仓库有对应运行路径；实际服务还需要有效凭证，并受模型提供方能力约束。[能力状态](/status)列出尚未接通和建议移除的占位内容。

## 选择助手和运行模式

| 助手类型 | Pipeline | Realtime | 说明 |
| --- | --- | --- | --- |
| Prompt | 已实现 | 已实现，有 Provider 限制 | 提示词驱动，可绑定模型及受支持的工具。 |
| Workflow | 已实现 | 已实现，有 Provider 限制 | 用节点编排对话、状态和动作。 |
| Dify / FastGPT | 已实现 | 未实现 | 对话处理交给外部 Agent，语音输入输出仍由平台管线处理。 |

创建助手时，**Pipeline** 需要分别绑定 ASR、LLM、TTS；外部 Agent 助手将 LLM 环节交给外部服务。**Realtime** 绑定一个端到端语音模型资源。模型资源按 `interface_type` 选择适配，填写一个看似兼容的 URL 不会自动生成新的运行适配。

## 模型和交互效果

| 配置 | 当前状态 | 适用范围 |
| --- | --- | --- |
| OpenAI 兼容 LLM、ASR、TTS | 已实现 | Pipeline；具体兼容性仍需连接测试和语音预览。 |
| 讯飞 ASR、TTS、SuperTTS | 已实现 | Pipeline。 |
| StepFun StepAudio、Qwen Audio Realtime | 已实现 | Realtime；不同 Provider 的工具与轮次能力不相同。 |
| OpenAI Realtime、Gemini Live 底层模型 | 未实现 | 资源定义和示例存在，但语音运行适配尚未接通。 |
| 独立 VAD / EOU 模型替换 | 未实现 | Pipeline 当前使用内置 Silero VAD 与 Local Smart Turn；可以调参数、选策略，不能任意选择模型。 |

Pipeline 的“高级交互配置”可以调整 VAD 阈值、开始／停止确认时间、打断检测方式，以及静音等待或 Smart Turn 轮次结束策略。Realtime 模式的 VAD、Smart Turn 等由所选 Provider 的资源设置和会话能力决定；同名参数不保证跨 Provider 行为相同。

## 视觉、知识库和工具

| 能力 | 当前状态 | 使用条件 |
| --- | --- | --- |
| WebRTC 摄像头输入 | 已实现，有条件 | 助手开启视觉、客户端协商视频轨道，运行时按需获取画面；不是任意 Live 模型的连续视频理解。 |
| Realtime 协议图片项 | 已实现，有条件 | 目前仅 Pipeline 模式及已授权视觉的助手支持；Realtime 模式明确拒绝。 |
| 知识库检索 | 已实现，有条件 | 需要 Embedding 模型和已处理的文档，主要用于 Pipeline 的 Prompt／Workflow。 |
| System、HTTP、Client、MCP 工具 | 已实现，有条件 | Pipeline 和 Workflow 按配置执行；Prompt Realtime 的工具能力取决于 Provider 声明。 |
| 会话与消息历史 | 已实现 | 可在管理界面查看通道、运行模式和消息，辅助排查。 |

Prompt Realtime 中，Qwen Audio 已声明部分 HTTP、MCP、Client 和内置工具能力；StepFun Prompt Realtime 尚未声明工具能力。保存助手前，界面和服务端会校验不兼容项。外部 Agent 的上下文、知识库和工具通常由对应服务管理。

## Speaker 与任务后端

提示词 Pipeline 可配置「对话模型 Speaker + 任务后端」。Speaker 负责语音交流、澄清与播报，任务后端有独立上下文，执行期间可继续对话。Workflow 和 Realtime 当前不支持任务后端。

在「组件库 → 任务后端」创建资源，再到提示词助手的「任务后端」区域选择。任务后端不在普通工具列表中，也不需要填写委派函数名。

| 后端 | 配置 | 执行边界 |
| --- | --- | --- |
| 内置 Reasoner | 独立 LLM 模型、推理强度、HTTP/MCP 工具白名单、内联技能 | 只有模型已声明支持 `reasoning_effort` 才可选非默认强度；Client 工具不可用于后台执行。技能不能扩大工具权限。 |
| 外部 OpenCode | 服务地址、工作目录、用户名/密码，可选 Agent 和远端模型 | 文件、Shell、沙箱与技能由远端环境管理；平台不安装远端软件或技能。 |

默认任务时限 600 秒，可设置 30–7200 秒，覆盖排队和执行；当前要求单进程运行，全局并发固定 1。展开语音调试中的「后台任务」可查看结果、回答问题或停止任务。插话和语音断线不会自动取消任务；明确停止后需核查执行状态，已发出的操作可能已有副作用。

应用重启后，OpenCode 仅重新观察已保存的任务句柄；Reasoner 标记为中断，不自动重放工具。真实模型及远端编码环境仍需联调，不能以模拟测试代替真实执行验收。

## 配置建议

- 需要明确控制 ASR、LLM、TTS、VAD 和轮次结束策略时，先选 Pipeline。
- 需要端到端语音模型时，先选已接通的 StepFun 或 Qwen Audio，再验证该 Provider 的打断与工具行为。
- 需要摄像头时，使用 WebRTC，并在助手中启用视觉；WebSocket 不传连续视频。
- 需要业务客户端集成时，先查看[接入方式](/access)及公开协议的兼容范围。