20 lines
1.5 KiB
Markdown
20 lines
1.5 KiB
Markdown
# ROMA: Real-time Omni-Multimodal Assistant with Interactive Streaming Understanding
|
|
|
|
- 年份：2026
|
|
- 发表状态：本轮按 arXiv 预印本记录，未核验会议录用
|
|
- 阅读深度：深入阅读
|
|
- 官方链接：https://arxiv.org/abs/2601.10323
|
|
- 本地参考实现：/Users/wx44wx/Code/ROMA
|
|
|
|
## 摘要（中文转述）
|
|
|
|
ROMA 面向实时全模态助手，把连续音视频整理成同步流式单元，通过分块时间位置编码和持久 KV 维持上下文。独立 Speak Head 将响应时机与内容生成分开，并聚合末层隐藏状态。两阶段训练先适配流式格式，再学习主动响应；论文覆盖被动问答、主动事件提醒和实时描述，而非专门评测多人接话或语音打断。
|
|
|
|
## 与当前项目的关系
|
|
|
|
最值得复用的不是照搬其 1 秒块，而是最后四层融合、时机与生成解耦，以及流式格式适配。ROMA 的任务输出与当前 5 Hz EgoSpeak 预测不同，不能直接把 1 秒决策粒度当作替代方案。对 transition 区域额外加权属于我们的迁移设想，不应归为 ROMA 原作结论。
|
|
|
|
## 2026-08-27 补充核对
|
|
|
|
本地 `src/llamafactory/data/mm_plugin.py` 可见 `chunk_duration=1.0` 的音频切分及按秒组织 AV token 的路径。因而把它直接改成 0.2 秒会改变输入组织，需要同步核对音频编码、视觉时序聚合、位置编码、训练分布和端到端延迟；不能只改一个参数就宣称保持原作语义。保留其块式上下文、另加高频决策分支，是待验证的另一条路线。
|