Add pooled local AV baselines and research notes

This commit is contained in:
Xin Wang
2026-08-27 14:19:33 +08:00
parent d34725778f
commit 11f197724f
23 changed files with 1541 additions and 28 deletions
+6 -1
View File
@@ -10,5 +10,10 @@ Qwen2.5-Omni 是端到端全模态模型,统一处理文本、图像、音频
## 与当前项目的关系
当前特征提取应优先保持 Thinker 的原生流式输入语义:按固定 AV 块提交、保持同一开放媒体 turn、让已提交块进入持久 KV。因果前缀反复重算可作为严格离线参照,但不是原作的在线执行方式。预先重编码成 2 FPS 便于构造严格网格,却可能改变原视频末尾不足完整块时的抽帧语义,因此直接解码方案必须显式验证时间戳、最终帧和目标长度。
当前特征提取借鉴其分块编码和 AV 时间对齐:本项目按固定块提交,在开放媒体 turn 内保留已提交块的 KV,并处理当前部分块。因果前缀反复重算是另一个连续窗口参照,两种输入组织不必数值等价。预先重编码成 2 FPS 便于构造严格网格,但直接解码或重编码都需显式验证时间戳、末尾处理和目标对齐。
## 2026-08-27 补充:适用边界
因果窗口参照可以离线提取,但不指可以看未来的双向教师。论文的块式编码/TMRoPE、官方处理器的 AV 交织参数,以及本项目的开放 turn、部分块重算和滚动 KV 策略应分开描述,不能把本项目策略直接写成官方已提供的完整在线 API。
视频采样率、编码/交织块长和预测更新频率是三个不同量。2 FPS 输入可以支持 5 Hz 决策,但并非每个决策点都有新视频帧。短期高频分支是本项目的适配假设,不是 Qwen 原作要求;缩短块长也不保证与连续窗口逐数值等价。