Add pooled local AV baselines and research notes

2026-08-27 14:19:33 +08:00
parent d34725778f
commit 11f197724f
23 changed files with 1541 additions and 28 deletions
@@ -0,0 +1,19 @@
+# OmniMMI: A Comprehensive Multi-modal Interaction Benchmark in Streaming Video Contexts
+
+- 作者：Yuxuan Wang 等
+- 会议：CVPR 2025
+- 阅读深度：摘要级筛选
+- 记录日期：2026-08-27
+- 官方来源：[CVF 论文页](https://openaccess.thecvf.com/content/CVPR2025/html/Wang_OmniMMI_A_Comprehensive_Multi-modal_Interaction_Benchmark_in_Streaming_Video_Contexts_CVPR_2025_paper.html)
+
+## 摘要（中文转述）
+
+OmniMMI 面向持续输入下的多模态交互，评估流式理解与主动推理等能力，并提出多模态复用框架 M4，尝试让模型在生成时继续接收视觉和听觉信息。工作强调完整视频后的问答准确率不足以衡量在线交互，需要考虑响应时刻与连续输入。
+
+## 与当前项目的关系
+
+可借鉴“判断内容是否正确”和“何时做出判断”分开评估的思想。我们的 headline 仍应保持 EgoSpeak 的因果预测协议，再补充事件级时机指标、漏报/误触发和延迟。
+
+## 适用边界
+
+主动提醒与人类自然接话不是同一个任务。不能直接用其回答准确率或响应阈值替代 EasyCom/Ego4D 的活动 AP，也不能只报每秒输出五次就宣称端到端实时。