Files
ai-video-fullstack/docs-user/status.mdx
T

46 lines
3.6 KiB
Plaintext
Raw Normal View History

---
title: 能力状态
description: 已实现、未实现与建议收敛的项目内容。
icon: list-checks
---
# 能力状态
本页的“已实现”表示当前仓库存在对应代码路径,并不替代真实 Provider、弱网或并发环境下的验收。“未实现”表示不能因配置界面、种子数据或开发计划中出现名称就视为可用。“建议移除”是待评估的收敛项,尚未删除。
## 已实现或有条件可用
| 能力 | 状态 | 边界 |
| --- | --- | --- |
| Pipecat Pipeline:ASR → LLM/外部 Agent → TTS | 已实现 | 需要匹配的模型接口、有效凭证和实际联调。 |
| Pipecat Pipeline 的 Silero VAD、静音结束、Local Smart Turn、打断 | 已实现 | 可调整参数与策略;模型实现目前固定。 |
| StepFun StepAudio、Qwen Audio Realtime | 已实现 | Provider 的轮次、工具与视觉能力各不相同。 |
2026-10-23 09:43:17 +08:00
| Prompt、Workflow、Dify/FastGPT 助手 | 已实现 | 外部 Agent 只支持 Pipeline。 |
| OpenAI Realtime 兼容子集的 WebSocket/WebRTC | 已实现 | 是对外协议适配,不代表所有 OpenAI 字段或底层 OpenAI 模型可用。 |
| Responses 文本接口 | 已实现 | 面向可通过该接口调用的 Pipeline 助手。 |
| WebRTC 可选摄像头与视觉处理 | 有条件可用 | 需要助手授权视觉、客户端协商视频轨道,并受运行模式限制。 |
| 工具和知识库 | 有条件可用 | 受助手模式、模型 Provider 与资源配置限制。 |
| 会话与消息历史 | 已实现 | 可在管理界面查看,辅助排查。 |
## 未实现或尚未承诺
| 能力 | 当前情况 |
| --- | --- |
| OpenAI Realtime、Gemini Live 底层模型适配 | 资源目录和种子数据存在,但 Realtime 运行时只创建 StepFun、Qwen Audio 服务。 |
| 任意 VAD、EOU 模型作为独立资源接入 | 目前只有内置 Pipeline 策略及部分 Provider 自身的轮次配置。 |
| 任意原生音视频 Live 模型接入 | 当前摄像头能力以 WebRTC 视频轨道和按需画面处理为主,不能据此宣称通用 Live 模型支持。 |
| 完整 OpenAI API、`/v1/chat/completions` | 公开协议只承诺兼容矩阵中列出的子集。 |
| WebSocket 连续视频、SIP、Realtime 断线续传 | 当前公开协议不支持;可参考开发计划评估。 |
| 多租户、RBAC、完整生产可观测性与可靠性 | 开发计划中仍有待办,当前定位为单租户 MVP。 |
## 建议移除或收敛,尚未执行
| 对象 | 建议 | 原因 |
| --- | --- | --- |
| `openai-realtime`、`gemini-realtime` 可选资源定义与示例资源 | 在运行适配完成前,从可用列表和默认种子中移除,或明确置为“未接通”。已有数据库记录需先评估迁移。 | 当前可配置,但启动语音会话时会遇到不支持的接口类型。 |
| 把 `/ws/voice`、`/ws/stream` 写作第三方首选入口的旧说明 | 从对外接入主线移到“平台调试/既有通道”说明。 | 它们与 `/v1/realtime` 的鉴权、消息格式和兼容承诺不同。 |
| 将“Realtime 协议兼容”写作“OpenAI Realtime 模型已接入”的措辞 | 从功能列表中删除混用表述,分别列对外协议和底层 Provider。 | 两种能力由不同代码实现,当前完成度不同。 |
| 将“视频输入”写作“通用 Live 模型能力”的措辞 | 改为“WebRTC 可选视频轨道和有条件的视觉处理”。 | WebSocket 连续视频与通用 Live 模型适配尚未实现。 |
以上是文档和产品目录的收敛建议,不是删除正在使用的管理界面接口。接口、数据或资源定义的实际移除需要单独处理兼容性和已有数据。