2026-08-07 11:09:10 +08:00
|
|
|
---
|
|
|
|
|
title: 产品概览
|
2026-09-24 02:49:46 +08:00
|
|
|
description: 了解实时交互服务层的定位、组成和当前边界。
|
|
|
|
|
icon: radio
|
2026-08-07 11:09:10 +08:00
|
|
|
---
|
|
|
|
|
|
|
|
|
|
# 产品概览
|
|
|
|
|
|
2026-09-24 02:49:46 +08:00
|
|
|
AI Video Assistant 是基于 Pipecat 的实时交互服务层。你可以将语音识别、大模型、语音合成，或端到端 Realtime 语音模型绑定到助手，再配置轮次、打断、提示词、工具和工作流，通过 WebSocket 或 WebRTC 接入业务应用。
|
2026-08-07 11:09:10 +08:00
|
|
|
|
2026-09-24 02:49:46 +08:00
|
|
|
管理界面用于配置和预览。业务客户端调用的是服务端已配置的助手：公开接口中的 `assistant:<id>` 指完整助手，并非底层模型 ID。对外接口遵循 **OpenAI-compatible subset v1**，只覆盖文档列出的字段和事件。
|
2026-08-07 11:09:10 +08:00
|
|
|
|
2026-09-24 02:49:46 +08:00
|
|
|
## 从配置到接入
|
2026-08-07 11:09:10 +08:00
|
|
|
|
2026-09-24 02:49:46 +08:00
|
|
|
1. 在「组件库 / 模型资源」填写模型服务地址和凭证。
|
|
|
|
|
2. 创建 Prompt、Workflow 或外部 Agent 助手，选择 Pipeline 或可用的 Realtime 运行模式。
|
|
|
|
|
3. 通过语音预览检查延迟、打断、轮次和回复效果。
|
|
|
|
|
4. 使用公开 Realtime WebRTC/WebSocket 接口接入业务客户端；Pipeline 助手还可使用 Responses 文本接口。
|
2026-08-07 11:09:10 +08:00
|
|
|
|
2026-09-24 02:49:46 +08:00
|
|
|
详见[功能与配置](/features)及[接入方式](/access)。
|
2026-08-07 11:09:10 +08:00
|
|
|
|
2026-09-24 02:49:46 +08:00
|
|
|
## 两种运行模式
|
|
|
|
|
|
|
|
|
|
| 模式 | 组合方式 | 当前轮次控制 |
|
|
|
|
|
| --- | --- | --- |
|
|
|
|
|
| Pipeline | ASR → LLM／外部 Agent → TTS | 使用 Pipecat 的 VAD、静音或 Smart Turn 策略，可配置打断。 |
|
|
|
|
|
| Realtime | 端到端语音模型负责识别、生成和合成 | 主要由所选 Provider 的轮次检测能力决定；不等同于 Pipeline 的独立 VAD/EOU 配置。 |
|
|
|
|
|
|
|
|
|
|
两种模式可通过同一套公开 Realtime 接口调用，但功能受助手类型、模型适配和客户端通道限制。当前运行适配的端到端模型类型是 **StepFun StepAudio** 与 **Qwen Audio Realtime**。模型资源目录中出现 OpenAI Realtime 或 Gemini Live，不表示其底层模型适配已经实现。
|
|
|
|
|
|
|
|
|
|
## 阅读指引
|
|
|
|
|
|
|
|
|
|
- [配置第一个助手](/quickstart)：从模型资源到语音预览。
|
|
|
|
|
- [功能与配置](/features)：选择助手、模型、轮次、视觉和工具。
|
|
|
|
|
- [接入方式](/access)：区分公开协议与管理界面使用的通道。
|
|
|
|
|
- [能力状态](/status)：逐项查看已实现、未实现和建议收敛的内容。
|
|
|
|
|
|
|
|
|
|
本地启动、请求字段和事件协议见仓库根目录 `README.md` 与 `docs-developer/`。能力状态以当前仓库实现为准；具体第三方模型仍需用自己的凭证实测。
|
