Files
ai-video-fullstack/docs-user/quickstart.mdx
T

33 lines
2.6 KiB
Plaintext
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
---
title: 配置第一个助手
description: 从模型资源到语音预览,验证第一条实时会话链路。
icon: rocket
---
# 配置第一个助手
本页从已启动的管理界面开始。首次本地部署可在仓库根目录运行 `docker compose up -d`;API 容器启动时会迁移数据库并同步模型接口定义。界面地址为 `http://localhost:3030`。可选的 `make db-seed` 需要本机安装 `make` 和 `uv`,用于加入演示数据;种子资源中的 `replace-me` 密钥不能用于真实调用,也不要在已有助手数据的环境中当作常规升级命令使用。
## 1. 配置模型资源
进入「组件库 / 模型资源」,选择接口类型并填写服务地址、模型 ID 和凭证。语音 Pipeline 至少需要 ASR、LLM、TTS;端到端 Realtime 模式目前选择 StepFun StepAudio 或 Qwen Audio。保存前使用“测试连接”,然后再通过语音预览验证整条链路。单项连接成功不代表音频格式、轮次和工具行为均已可用。
如果目录中看到 OpenAI Realtime 或 Gemini Live,请先查看[能力状态](/status):这两种底层模型当前尚未接通运行时。
## 2. 创建助手
进入「创建助手」,先选择 Prompt 类型,并按需求选运行模式:
- **Pipeline**:分别绑定 ASR、LLM、TTS;填写系统提示词,按需要设置开场白、打断和高级轮次策略。
- **Realtime**:绑定一个已接通的 Realtime 资源;音色、VAD 或 Smart Turn 设置以该 Provider 的资源字段和实际能力为准。
保存后从助手详情页打开语音预览。第一次验证建议只检查听取用户语音、生成回复、播放语音和打断;确认基本链路后再添加知识库、视觉、工具或 Workflow。
确认基本对话链路后,可选配独立任务后端:在「组件库 → 任务后端」创建 Reasoner 或 OpenCode 资源,再回到提示词 Pipeline 助手的「任务后端」区域绑定。Speaker 仍负责对话;Reasoner 使用单独模型与 HTTP/MCP 工具许可,OpenCode 使用其远端执行环境。完整适用范围见[功能与配置](/features)。
## 3. 接入业务客户端
语音预览通过后,按[接入方式](/access)选择公开 WebRTC 或 WebSocket。浏览器麦克风需要 localhost 或 HTTPS;公网 WebRTC 通常还要配置 TURN。公开接口以 `assistant:<助手 ID>` 选择助手,第三方客户端不直接提交底层模型密钥。
如果会话启动失败,先检查模型资源的真实凭证、所选 `interface_type` 是否有运行适配、助手绑定是否完整,再查看管理界面的会话历史和后端日志。