1.1 KiB
1.1 KiB
Qwen2.5-Omni Technical Report
- 年份：2025
- 阅读深度：深入阅读
- 官方链接：https://arxiv.org/abs/2503.20215
摘要（中文转述）
Qwen2.5-Omni 是端到端全模态模型，统一处理文本、图像、音频和视频输入，并生成文本与语音。其架构采用 Thinker–Talker 分工：Thinker 负责多模态理解和文本语义建模，Talker 负责流式语音生成。模型用分块式音频、视频编码和时间对齐机制组织连续媒体，借助 TMRoPE 表达跨模态时间关系；语音侧还采用滑窗式扩散生成以降低延迟。
与当前项目的关系
当前特征提取应优先保持 Thinker 的原生流式输入语义：按固定 AV 块提交、保持同一开放媒体 turn、让已提交块进入持久 KV。因果前缀反复重算可作为严格离线参照，但不是原作的在线执行方式。预先重编码成 2 FPS 便于构造严格网格，却可能改变原视频末尾不足完整块时的抽帧语义，因此直接解码方案必须显式验证时间戳、最终帧和目标长度。