Add transition-aware R1 and R2 objectives

2026-08-26 17:18:50 +08:00
parent 0590df1e88
commit 5923b89d60
27 changed files with 979 additions and 22 deletions
@@ -0,0 +1,15 @@
+# ROMA: A Real-Time Omni-Multimodal Assistant
+
+- 年份：2026
+- 阅读深度：深入阅读
+- 官方链接：https://arxiv.org/abs/2601.10323
+- 本地参考实现：/Users/wx44wx/Code/ROMA
+
+## 摘要（中文转述）
+
+ROMA 面向实时全模态助手，把连续音视频整理成同步的流式单元，通过分块时间位置编码和持久 KV 维持在线上下文。模型把内容理解与“是否说话”的时机判断分离，设置独立 Speak Head，并对最后若干层隐藏状态做可学习聚合。训练包含流式模板对齐和时间感知决策阶段，目标是同时支持主动响应、被动倾听和打断处理。
+
+## 与当前项目的关系
+
+最值得复用的不是照搬其 1 秒块，而是三个思想：最后四层可学习融合、表示头与时机头解耦、对临界转换区域增加决策监督。ROMA 的时间分辨率和任务输出与当前 5 Hz EgoSpeak 预测不同，不能直接把 1 秒决策粒度当作替代方案。本地实现还应结合论文逐项核查，不能默认所有描述组件都已完整落地。
+