Add pooled local AV baselines and research notes

literature_notes/05_roma.md

@@ -1,15 +1,19 @@
-# ROMA: A Real-Time Omni-Multimodal Assistant
+# ROMA: Real-time Omni-Multimodal Assistant with Interactive Streaming Understanding
 
 - 年份：2026
+- 发表状态：本轮按 arXiv 预印本记录，未核验会议录用
 - 阅读深度：深入阅读
 - 官方链接：https://arxiv.org/abs/2601.10323
 - 本地参考实现：/Users/wx44wx/Code/ROMA
 
 ## 摘要（中文转述）
 
-ROMA 面向实时全模态助手，把连续音视频整理成同步的流式单元，通过分块时间位置编码和持久 KV 维持在线上下文。模型把内容理解与“是否说话”的时机判断分离，设置独立 Speak Head，并对最后若干层隐藏状态做可学习聚合。训练包含流式模板对齐和时间感知决策阶段，目标是同时支持主动响应、被动倾听和打断处理。
+ROMA 面向实时全模态助手，把连续音视频整理成同步流式单元，通过分块时间位置编码和持久 KV 维持上下文。独立 Speak Head 将响应时机与内容生成分开，并聚合末层隐藏状态。两阶段训练先适配流式格式，再学习主动响应；论文覆盖被动问答、主动事件提醒和实时描述，而非专门评测多人接话或语音打断。
 
 ## 与当前项目的关系
 
-最值得复用的不是照搬其 1 秒块，而是三个思想：最后四层可学习融合、表示头与时机头解耦、对临界转换区域增加决策监督。ROMA 的时间分辨率和任务输出与当前 5 Hz EgoSpeak 预测不同，不能直接把 1 秒决策粒度当作替代方案。本地实现还应结合论文逐项核查，不能默认所有描述组件都已完整落地。
+最值得复用的不是照搬其 1 秒块，而是最后四层融合、时机与生成解耦，以及流式格式适配。ROMA 的任务输出与当前 5 Hz EgoSpeak 预测不同，不能直接把 1 秒决策粒度当作替代方案。对 transition 区域额外加权属于我们的迁移设想，不应归为 ROMA 原作结论。
 
+## 2026-08-27 补充核对
+
+本地 `src/llamafactory/data/mm_plugin.py` 可见 `chunk_duration=1.0` 的音频切分及按秒组织 AV token 的路径。因而把它直接改成 0.2 秒会改变输入组织，需要同步核对音频编码、视觉时序聚合、位置编码、训练分布和端到端延迟；不能只改一个参数就宣称保持原作语义。保留其块式上下文、另加高频决策分支，是待验证的另一条路线。