46 lines
3.6 KiB
Plaintext
46 lines
3.6 KiB
Plaintext
---
|
||
title: 能力状态
|
||
description: 已实现、未实现与建议收敛的项目内容。
|
||
icon: list-checks
|
||
---
|
||
|
||
# 能力状态
|
||
|
||
本页的“已实现”表示当前仓库存在对应代码路径，并不替代真实 Provider、弱网或并发环境下的验收。“未实现”表示不能因配置界面、种子数据或开发计划中出现名称就视为可用。“建议移除”是待评估的收敛项，尚未删除。
|
||
|
||
## 已实现或有条件可用
|
||
|
||
| 能力 | 状态 | 边界 |
|
||
| --- | --- | --- |
|
||
| Pipecat Pipeline：ASR → LLM／外部 Agent → TTS | 已实现 | 需要匹配的模型接口、有效凭证和实际联调。 |
|
||
| Pipecat Pipeline 的 Silero VAD、静音结束、Local Smart Turn、打断 | 已实现 | 可调整参数与策略；模型实现目前固定。 |
|
||
| StepFun StepAudio、Qwen Audio Realtime | 已实现 | Provider 的轮次、工具与视觉能力各不相同。 |
|
||
| Prompt、Workflow、Dify／FastGPT 助手 | 已实现 | 外部 Agent 只支持 Pipeline。 |
|
||
| OpenAI Realtime 兼容子集的 WebSocket／WebRTC | 已实现 | 是对外协议适配，不代表所有 OpenAI 字段或底层 OpenAI 模型可用。 |
|
||
| Responses 文本接口 | 已实现 | 面向可通过该接口调用的 Pipeline 助手。 |
|
||
| WebRTC 可选摄像头与视觉处理 | 有条件可用 | 需要助手授权视觉、客户端协商视频轨道，并受运行模式限制。 |
|
||
| 工具和知识库 | 有条件可用 | 受助手模式、模型 Provider 与资源配置限制。 |
|
||
| 会话与消息历史 | 已实现 | 可在管理界面查看，辅助排查。 |
|
||
|
||
## 未实现或尚未承诺
|
||
|
||
| 能力 | 当前情况 |
|
||
| --- | --- |
|
||
| OpenAI Realtime、Gemini Live 底层模型适配 | 资源目录和种子数据存在，但 Realtime 运行时只创建 StepFun、Qwen Audio 服务。 |
|
||
| 任意 VAD、EOU 模型作为独立资源接入 | 目前只有内置 Pipeline 策略及部分 Provider 自身的轮次配置。 |
|
||
| 任意原生音视频 Live 模型接入 | 当前摄像头能力以 WebRTC 视频轨道和按需画面处理为主，不能据此宣称通用 Live 模型支持。 |
|
||
| 完整 OpenAI API、`/v1/chat/completions` | 公开协议只承诺兼容矩阵中列出的子集。 |
|
||
| WebSocket 连续视频、SIP、Realtime 断线续传 | 当前公开协议不支持；可参考开发计划评估。 |
|
||
| 多租户、RBAC、完整生产可观测性与可靠性 | 开发计划中仍有待办，当前定位为单租户 MVP。 |
|
||
|
||
## 建议移除或收敛，尚未执行
|
||
|
||
| 对象 | 建议 | 原因 |
|
||
| --- | --- | --- |
|
||
| `openai-realtime`、`gemini-realtime` 可选资源定义与示例资源 | 在运行适配完成前，从可用列表和默认种子中移除，或明确置为“未接通”。已有数据库记录需先评估迁移。 | 当前可配置，但启动语音会话时会遇到不支持的接口类型。 |
|
||
| 把 `/ws/voice`、`/ws/stream` 写作第三方首选入口的旧说明 | 从对外接入主线移到“平台调试／既有通道”说明。 | 它们与 `/v1/realtime` 的鉴权、消息格式和兼容承诺不同。 |
|
||
| 将“Realtime 协议兼容”写作“OpenAI Realtime 模型已接入”的措辞 | 从功能列表中删除混用表述，分别列对外协议和底层 Provider。 | 两种能力由不同代码实现，当前完成度不同。 |
|
||
| 将“视频输入”写作“通用 Live 模型能力”的措辞 | 改为“WebRTC 可选视频轨道和有条件的视觉处理”。 | WebSocket 连续视频与通用 Live 模型适配尚未实现。 |
|
||
|
||
以上是文档和产品目录的收敛建议，不是删除正在使用的管理界面接口。接口、数据或资源定义的实际移除需要单独处理兼容性和已有数据。
|