literature_notes/01_qwen2_5_omni.md

# Qwen2.5-Omni Technical Report

- 年份：2025
- 阅读深度：深入阅读
- 官方链接：https://arxiv.org/abs/2503.20215

## 摘要（中文转述）

Qwen2.5-Omni 是端到端全模态模型，统一处理文本、图像、音频和视频输入，并生成文本与语音。其架构采用 Thinker–Talker 分工：Thinker 负责多模态理解和文本语义建模，Talker 负责流式语音生成。模型用分块式音频、视频编码和时间对齐机制组织连续媒体，借助 TMRoPE 表达跨模态时间关系；语音侧还采用滑窗式扩散生成以降低延迟。

## 与当前项目的关系

当前特征提取借鉴其分块编码和 AV 时间对齐：本项目按固定块提交，在开放媒体 turn 内保留已提交块的 KV，并处理当前部分块。因果前缀反复重算是另一个连续窗口参照，两种输入组织不必数值等价。预先重编码成 2 FPS 便于构造严格网格，但直接解码或重编码都需显式验证时间戳、末尾处理和目标对齐。

## 2026-08-27 补充：适用边界

因果窗口参照可以离线提取，但不指可以看未来的双向教师。论文的块式编码/TMRoPE、官方处理器的 AV 交织参数，以及本项目的开放 turn、部分块重算和滚动 KV 策略应分开描述，不能把本项目策略直接写成官方已提供的完整在线 API。

视频采样率、编码/交织块长和预测更新频率是三个不同量。2 FPS 输入可以支持 5 Hz 决策，但并非每个决策点都有新视频帧。短期高频分支是本项目的适配假设，不是 Qwen 原作要求；缩短块长也不保证与连续窗口逐数值等价。
-											Add transition-aware R1 and R2 objectives
										
										
											2026-08-26 17:18:50 +08:00
+								# Qwen2.5-Omni Technical Report
 								- 年份：2025
 								- 阅读深度：深入阅读
 								- 官方链接：https://arxiv.org/abs/2503.20215
 								## 摘要（中文转述）
 								Qwen2.5-Omni 是端到端全模态模型，统一处理文本、图像、音频和视频输入，并生成文本与语音。其架构采用 Thinker–Talker 分工：Thinker 负责多模态理解和文本语义建模，Talker 负责流式语音生成。模型用分块式音频、视频编码和时间对齐机制组织连续媒体，借助 TMRoPE 表达跨模态时间关系；语音侧还采用滑窗式扩散生成以降低延迟。
 								## 与当前项目的关系
-											Add pooled local AV baselines and research notes
										
										
											2026-08-27 14:19:33 +08:00
+								当前特征提取借鉴其分块编码和 AV 时间对齐：本项目按固定块提交，在开放媒体 turn 内保留已提交块的 KV，并处理当前部分块。因果前缀反复重算是另一个连续窗口参照，两种输入组织不必数值等价。预先重编码成 2 FPS 便于构造严格网格，但直接解码或重编码都需显式验证时间戳、末尾处理和目标对齐。
-											Add transition-aware R1 and R2 objectives
										
										
											2026-08-26 17:18:50 +08:00
-											Add pooled local AV baselines and research notes
										
										
											2026-08-27 14:19:33 +08:00
+								## 2026-08-27 补充：适用边界
 								因果窗口参照可以离线提取，但不指可以看未来的双向教师。论文的块式编码/TMRoPE、官方处理器的 AV 交织参数，以及本项目的开放 turn、部分块重算和滚动 KV 策略应分开描述，不能把本项目策略直接写成官方已提供的完整在线 API。
 								视频采样率、编码/交织块长和预测更新频率是三个不同量。2 FPS 输入可以支持 5 Hz 决策，但并非每个决策点都有新视频帧。短期高频分支是本项目的适配假设，不是 Qwen 原作要求；缩短块长也不保证与连续窗口逐数值等价。