Add pooled local AV baselines and research notes
This commit is contained in:
Xin Wang
@@ -10,5 +10,10 @@ Qwen2.5-Omni 是端到端全模态模型，统一处理文本、图像、音频
|
||||
|
||||
## 与当前项目的关系
|
||||
|
||||
当前特征提取应优先保持 Thinker 的原生流式输入语义：按固定 AV 块提交、保持同一开放媒体 turn、让已提交块进入持久 KV。因果前缀反复重算可作为严格离线参照，但不是原作的在线执行方式。预先重编码成 2 FPS 便于构造严格网格，却可能改变原视频末尾不足完整块时的抽帧语义，因此直接解码方案必须显式验证时间戳、最终帧和目标长度。
|
||||
当前特征提取借鉴其分块编码和 AV 时间对齐：本项目按固定块提交，在开放媒体 turn 内保留已提交块的 KV，并处理当前部分块。因果前缀反复重算是另一个连续窗口参照，两种输入组织不必数值等价。预先重编码成 2 FPS 便于构造严格网格，但直接解码或重编码都需显式验证时间戳、末尾处理和目标对齐。
|
||||
|
||||
## 2026-08-27 补充：适用边界
|
||||
|
||||
因果窗口参照可以离线提取，但不指可以看未来的双向教师。论文的块式编码/TMRoPE、官方处理器的 AV 交织参数，以及本项目的开放 turn、部分块重算和滚动 KV 策略应分开描述，不能把本项目策略直接写成官方已提供的完整在线 API。
|
||||
|
||||
视频采样率、编码/交织块长和预测更新频率是三个不同量。2 FPS 输入可以支持 5 Hz 决策，但并非每个决策点都有新视频帧。短期高频分支是本项目的适配假设，不是 Qwen 原作要求；缩短块长也不保证与连续窗口逐数值等价。
|
||||
|
||||
@@ -1,15 +1,19 @@
|
||||
# ROMA: A Real-Time Omni-Multimodal Assistant
|
||||
# ROMA: Real-time Omni-Multimodal Assistant with Interactive Streaming Understanding
|
||||
|
||||
- 年份：2026
|
||||
- 发表状态：本轮按 arXiv 预印本记录，未核验会议录用
|
||||
- 阅读深度：深入阅读
|
||||
- 官方链接：https://arxiv.org/abs/2601.10323
|
||||
- 本地参考实现：/Users/wx44wx/Code/ROMA
|
||||
|
||||
## 摘要（中文转述）
|
||||
|
||||
ROMA 面向实时全模态助手，把连续音视频整理成同步的流式单元，通过分块时间位置编码和持久 KV 维持在线上下文。模型把内容理解与“是否说话”的时机判断分离，设置独立 Speak Head，并对最后若干层隐藏状态做可学习聚合。训练包含流式模板对齐和时间感知决策阶段，目标是同时支持主动响应、被动倾听和打断处理。
|
||||
ROMA 面向实时全模态助手，把连续音视频整理成同步流式单元，通过分块时间位置编码和持久 KV 维持上下文。独立 Speak Head 将响应时机与内容生成分开，并聚合末层隐藏状态。两阶段训练先适配流式格式，再学习主动响应；论文覆盖被动问答、主动事件提醒和实时描述，而非专门评测多人接话或语音打断。
|
||||
|
||||
## 与当前项目的关系
|
||||
|
||||
最值得复用的不是照搬其 1 秒块，而是三个思想：最后四层可学习融合、表示头与时机头解耦、对临界转换区域增加决策监督。ROMA 的时间分辨率和任务输出与当前 5 Hz EgoSpeak 预测不同，不能直接把 1 秒决策粒度当作替代方案。本地实现还应结合论文逐项核查，不能默认所有描述组件都已完整落地。
|
||||
最值得复用的不是照搬其 1 秒块，而是最后四层融合、时机与生成解耦，以及流式格式适配。ROMA 的任务输出与当前 5 Hz EgoSpeak 预测不同，不能直接把 1 秒决策粒度当作替代方案。对 transition 区域额外加权属于我们的迁移设想，不应归为 ROMA 原作结论。
|
||||
|
||||
## 2026-08-27 补充核对
|
||||
|
||||
本地 `src/llamafactory/data/mm_plugin.py` 可见 `chunk_duration=1.0` 的音频切分及按秒组织 AV token 的路径。因而把它直接改成 0.2 秒会改变输入组织，需要同步核对音频编码、视觉时序聚合、位置编码、训练分布和端到端延迟；不能只改一个参数就宣称保持原作语义。保留其块式上下文、另加高频决策分支，是待验证的另一条路线。
|
||||
|
||||
@@ -6,9 +6,10 @@
|
||||
|
||||
## 摘要（中文转述）
|
||||
|
||||
该工作在面对面人机对话中联合研究轮次转换和 backchannel，融合语言、声学和视觉信号，并报告多模态模型相对既有方法的改进。其任务把正常接管、简短反馈和持续倾听视为可区分的互动事件。
|
||||
该工作构建超过 210 小时的 MM-F2F 对话数据，研究联合语言、声学和视觉线索的轮次转换及 backchannel 预测。框架强调模态间关系，并支持不同输入模态组合，论文报告其在两个任务上的改进。这里按摘要级证据记录，不把这些结果直接外推到第一视角多人在线预测。
|
||||
|
||||
## 与当前项目的关系
|
||||
|
||||
它支持把笼统的 wearer/others 活动进一步拆成 transition 子类型进行诊断。即使训练标签暂时不变，也可以从目标序列派生 onset、offset、overlap onset 和短促 backchannel-like 片段，分别报告性能，判断模型真正改善了哪种动态。
|
||||
|
||||
补充边界：短促语音不必然是 backchannel；仅凭三路活动标签不能得到可靠的互动功能标签。若要报告真正的 backchannel 或说话对象识别，需要相应标注和协议，不能把活动时长规则当作语义真值。
|
||||
|
||||
@@ -0,0 +1,39 @@
|
||||
# 多人 AV、多速率流式处理与四条实验路线
|
||||
|
||||
记录日期：2026-08-27。以下是文献启发下的本项目假设与实验建议，不是已完成的实现、已验证的增益或已确立的论文新颖性结论。
|
||||
|
||||
## 本轮相关阅读
|
||||
|
||||
- 块式多模态基础：[Qwen2.5-Omni](01_qwen2_5_omni.md)、[ROMA](05_roma.md)。ROMA 本轮按预印本记录，不与已核验会议论文混称。
|
||||
- 流式输入与分层记忆：[VideoLLM-online](21_videollm_online.md)、[ProVideLLM](22_providellm.md)。
|
||||
- 多人对应与第一视角感知：[Multi-speaker Attention Alignment](23_multi_speaker_attention_alignment.md)、[EgoAVU](24_egoavu.md)、[AV Speaker Localization](25_egocentric_av_speaker_localization.md)、[Auditory Attention Localization](26_egocentric_auditory_attention.md)。
|
||||
- 任务及评测：[EgoSpeak](02_egospeak.md)、[Multimodal Turn-taking and Backchannel](16_multimodal_turn_taking_backchannel.md)、[OmniMMI](27_omnimmi.md)。
|
||||
|
||||
每篇笔记分别保存中文转述摘要、官方来源、阅读深度与适用边界；新编号为 21–27。
|
||||
|
||||
## 现有证据与不能推断的结论
|
||||
|
||||
- [open-stream 与 causal-prefix](../results/easycom_open_stream_vs_causal_prefix_2026-08-19/README.md)的单次比较中，后者 mean mAP 高 0.514，0.2 秒高 2.393。差异集中于短 horizon，支持检验分块/近期信息假设，但窗口保留、AV 排列、前端边界等也可能参与，不能认定 chunk 是唯一原因。
|
||||
- [最后四层读取](../results/easycom_frozen_3b_8s_last4_learned_mix_2026-08-26/README.md)的记录相对旧单层基线约增 2.015 mean mAP；训练配置尚需匹配，权重近均匀，尚不能证明 learned mix 优于固定 mean。
|
||||
- [四状态/BCE 消融](../results/easycom_loss_structure_4ep_2026-08-26/README.md)与[R1/R2](../results/easycom_transition_auxiliary_4ep_2026-08-27/README.md)没有建立明显的活动预测提升。四状态是对 overlap 的表达改进，不是多个人身份建模；R2 是离线标签上的精确期望奖励控制，不是交互 RL。
|
||||
- [稀疏 LoRA 试验](../results/easycom_sparse_supervision_vs_lora_2026-08-24/README.md)退化，但这是特定训练配方的诊断，不能据此认定 LoRA 普遍无效。
|
||||
|
||||
## 四条路线：展开说明
|
||||
|
||||
**路线一：多速率近期/历史适配器。** 当前 open-stream 已经每 200 ms 产生状态，所以要改善的是状态中的局部证据，而不是补一个已有的更新频率。保留块式 Omni 历史及 last-4 语义表征，另设每 200 ms 更新的短期因果窗口，保留最近 1–2 秒音频动态和轻量人脸/头部运动特征，再用门控或交叉注意力融合。200 ms 是更新步长，不要求音频编码器每次只看孤立的 200 ms。5–10 FPS 局部视频是待测配置，必须从原始视频读取而非对 2 FPS 重复插帧；没有新帧时保留旧特征并记录时间戳/新鲜度。先冻结骨干，比较原头、近期分支单独使用、普通拼接和双分支融合，并控制参数量及媒体预算；只有超过这些对照，才能把增益归因于多速率组织。
|
||||
|
||||
**路线二：说话人感知 AV 对齐。** 将可见参与者的区域特征按因果 track 组织成集合，在混合音频条件下学习哪些人及其动作与当前互动相关；另留不可见佩戴者和画外/未定位声源表示，不能假设所有声音都有对应人脸。可用训练集的逐人语音活动作辅助监督，而主预测仍输出 silence/wearer-only/others-only/overlap，以兼容三路评测。多人并发时不能简单相加各人的发声概率当作 others 概率；可直接从集合特征训练全局活动头。真值框、身份和说话对象只能用于明确声明的监督或 oracle 分析，正式在线系统要计入检测/跟踪误差和成本。若增益尤其体现在多参与者、重叠和交接子集，才支持“多人 AV 对齐”的机制解释。
|
||||
|
||||
**路线三：分块稳定性与严格因果蒸馏。** 先按块内十个 200 ms 相位统计误差，控制事件比例，并对相同时间点采用不同分块边界比较，确认是否存在边界依赖。之后分别测试相位输入、随机分块起点、以及 causal-prefix 教师的软预测蒸馏，不一次加入所有模块。教师和学生必须只看截至 t 的真实媒体，并匹配上下文预算、标签及训练划分；教师可以离线计算，但不能看未来。目标是提高预测正确性与对分块选择的鲁棒性，而不是逼不同输入语义的 hidden state 达到 cosine=1。也不能强迫相邻时刻的预测相同，否则会抹掉真正的快速语音转换；应比较同一 t 的不同实现/分块视图。
|
||||
|
||||
**路线四：选择性 AV 适配。** 在冻结骨干的分支/头上先获得可重复收益，再分别试实际存在的模态连接层、少量上层 LoRA，使用较小学习率并与冻结对照匹配训练样本和更新步数；不要同时解冻全部模块。训练可保留活动预测，并将逐人活动/跨模态对应作为独立可消融的监督；是否加 dropout 或教师约束也要单独验证。权重更新后必须重新计算受影响的媒体特征或 KV，不能把旧骨干缓存当作新骨干表示。超参与 checkpoint 应在训练 session 内部留出数据选择；若继续不设 dev，则事先固定配置和训练时长，不根据正式测试集择优。该路线用于提升任务适配能力，但不是“八卡就保证有收益”的承诺。
|
||||
|
||||
## 共同验证要求与论文定位
|
||||
|
||||
1. 先固定主协议、输入条件和活动 loss；四状态/BCE 保留为对照，不把微小差异包装成主要贡献。
|
||||
2. 比较 A-only、V-only、AV；在有可靠标注时分层报告参与人数、wearer onset/offset、overlap 与交接。`others` 内部 A→B 的转换不能仅凭三路标签恢复。
|
||||
3. 除总体及 wearer AP，还报告分块相位、按 session 的差异、匹配多 seed，以及前端+融合+骨干的真实延迟、显存和吞吐。200 ms 更新周期不等于实测延迟达标。
|
||||
4. 八卡可以并行实验，但新局部/说话人分支需要先提取原始高频媒体和因果 tracks，不能直接把现有 `[T,4,2048]` 冻结状态当作它们的输入替代。
|
||||
5. 路线一解决时间尺度，路线二对应多人特性，路线三是边界控制，路线四是后续适配。它们是可以逐项证伪的研究方向，不是需要全部叠加的四个模块；论文贡献应由最终有效机制决定。
|
||||
|
||||
候选定位：在第一视角多人环境中，以说话人感知的多速率 AV 适配提高因果活动/接话预测。当前三/四状态评测不等同于全参与者的 next-speaker 分配；若后续声称身份级多人轮次能力，需另设逐人标签与评测。
|
||||
@@ -0,0 +1,19 @@
|
||||
# VideoLLM-online: Online Video Large Language Model for Streaming Video
|
||||
|
||||
- 作者：Joya Chen 等
|
||||
- 会议：CVPR 2024
|
||||
- 阅读深度：摘要级筛选（官方会议页面）
|
||||
- 记录日期：2026-08-27
|
||||
- 官方来源：[CVF 论文页](https://openaccess.thecvf.com/content/CVPR2024/html/Chen_VideoLLM-online_Online_Video_Large_Language_Model_for_Streaming_Video_CVPR_2024_paper.html)
|
||||
|
||||
## 摘要（中文转述）
|
||||
|
||||
该工作指出，面向预先切好的视频片段训练的视觉语言模型不自然地支持连续视频。LIVE 框架联合设计流式语言建模目标、离线时序标注到在线对话的数据转换，以及高效推理流程，让视频输入与响应时刻对齐。VideoLLM-online 用于连续视频中的在线交互，并评估多类视频任务。
|
||||
|
||||
## 与当前项目的关系
|
||||
|
||||
它提示“流式适配”不仅是复用 KV，还包括训练和推理时间契约一致。可借鉴因果样本构造与逐步决策设计，但原作不是混合音频中的多人接话预测，也没有证明任意 200 ms AV 切块有效。
|
||||
|
||||
## 本项目的待验证迁移
|
||||
|
||||
比较同样观察截止时间、同样训练标签下的原始 open-stream 与专门流式适配头；所有教师和学生输入都只能使用当前时刻以前的媒体。
|
||||
@@ -0,0 +1,20 @@
|
||||
# Streaming VideoLLMs for Real-Time Procedural Video Understanding
|
||||
|
||||
- 模型简称：ProVideLLM
|
||||
- 作者：Dibyadip Chatterjee 等
|
||||
- 会议：ICCV 2025
|
||||
- 阅读深度：摘要及引言筛选（缓存设计概述，未复现）
|
||||
- 记录日期：2026-08-27
|
||||
- 官方来源：[CVF 论文页](https://openaccess.thecvf.com/content/ICCV2025/html/Chatterjee_Streaming_VideoLLMs_for_Real-Time_Procedural_Video_Understanding_ICCV_2025_paper.html)
|
||||
|
||||
## 摘要（中文转述）
|
||||
|
||||
ProVideLLM 面向长时程、实时的程序性视频理解，将长期观察压缩成文本 token，同时用 DETR-QFormer 产生的视觉 token 保留近期细节。两类 token 组成多模态缓存，在保留任务历史的同时降低长视频的存储与计算开销；论文在多个程序性任务和数据集上评估这一设计。
|
||||
|
||||
## 与当前项目的关系
|
||||
|
||||
可借鉴“近期细节与长期上下文采用不同表示”的思想，而非将整段对话压入单个最终状态。但其模态缓存主要是视觉与文本，不是已验证的音视频接话模型；文本化长期历史也可能丢掉声学韵律。
|
||||
|
||||
## 本项目的待验证迁移
|
||||
|
||||
先测试冻结 Omni 历史状态与短期 AV 分支的融合，并与短期分支单独使用、普通拼接及参数量匹配头对照。论文速度数字不能直接用作本项目硬件和任务的速度预期。
|
||||
@@ -0,0 +1,19 @@
|
||||
# Multi-speaker Attention Alignment for Multimodal Social Interaction
|
||||
|
||||
- 作者：Liangyang Ouyang 等
|
||||
- 会议：CVPR 2026；预印本初发于 2025 年
|
||||
- 阅读深度：重点章节阅读（问题分析、方法及输入要求）
|
||||
- 记录日期：2026-08-27
|
||||
- 官方来源：[CVF 论文页](https://openaccess.thecvf.com/content/CVPR2026/html/Ouyang_Multi-speaker_Attention_Alignment_for_Multimodal_Social_Interaction_CVPR_2026_paper.html)、[arXiv 正文](https://arxiv.org/pdf/2511.17952)
|
||||
|
||||
## 摘要（中文转述）
|
||||
|
||||
该工作分析多人社交视频中视觉 token 与说话人话语的对齐不足，指出加入图像并不总能改善社交推理。方法动态选择相关注意力头，再依照说话人位置施加自适应注意力偏置，增强同一说话人的视觉区域与话语联系，无需新增可训练参数。作者在多个视觉语言模型和社交任务上验证该干预。
|
||||
|
||||
## 与当前项目的关系
|
||||
|
||||
它支持检验按参与者组织局部视觉证据的价值，而不是仅增加全图 token。**原作使用视频、带身份的话语转录和说话人框，主要研究视觉—文本对齐，不是从单路混合音频直接学到 AV 说话人对应。** 原作结果不能直接作为本项目 200 ms 接话预测的证据。
|
||||
|
||||
## 本项目的待验证迁移
|
||||
|
||||
用当前可见 track 的区域特征构成参与者集合，训练音频条件下的融合和逐人活动辅助任务。身份标签可作训练监督；推理若使用真值框或真值说话人归属，必须单列为 oracle 条件，不能与仅原始 AV 的结果混报。还需保留佩戴者和画外/未定位说话人的表示。
|
||||
@@ -0,0 +1,19 @@
|
||||
# EgoAVU: Egocentric Audio-Visual Understanding
|
||||
|
||||
- 作者：Ashish Seth 等
|
||||
- 会议：CVPR 2026
|
||||
- 阅读深度：摘要及官方实现说明筛选
|
||||
- 记录日期：2026-08-27
|
||||
- 官方来源：[arXiv 论文](https://arxiv.org/abs/2602.06139)、[官方实现](https://github.com/facebookresearch/EgoAVU)、[CVPR 会议目录](https://openaccess.thecvf.com/CVPR2026?day=2026-06-06)
|
||||
|
||||
## 摘要（中文转述）
|
||||
|
||||
EgoAVU 用数据生成与筛选流程，将第一视角视频中的音频和视觉关联补充到叙述、问题与答案中，构建训练集及人工核验的评测集。评测发现部分多模态模型偏重视觉、忽略音频或难以对应声音来源。围绕联合 AV 信息进行微调能改善相应理解能力，并在其他相关评测上体现迁移收益。
|
||||
|
||||
## 与当前项目的关系
|
||||
|
||||
“能输入 AV”不等于“有效利用 AV 对应关系”。因此应做 audio-only、video-only、AV 和错配/遮挡诊断，再决定是否训练模态连接层或加入对齐监督。
|
||||
|
||||
## 适用边界
|
||||
|
||||
其任务主要是理解与问答，并非多人轮次预测；大规模指令数据上的微调收益不保证迁移到小规模 EasyCom。由此提出的局部 LoRA、模态 dropout 等是我们的候选控制，而非本次阅读已验证的原作训练结论。
|
||||
@@ -0,0 +1,19 @@
|
||||
# Egocentric Deep Multi-Channel Audio-Visual Active Speaker Localization
|
||||
|
||||
- 作者：Hao Jiang、Calvin Murdock、Vamsi Krishna Ithapu
|
||||
- 会议：CVPR 2022
|
||||
- 阅读深度：摘要及引言筛选
|
||||
- 记录日期：2026-08-27
|
||||
- 官方来源：[CVF 论文页](https://openaccess.thecvf.com/content/CVPR2022/html/Jiang_Egocentric_Deep_Multi-Channel_Audio-Visual_Active_Speaker_Localization_CVPR_2022_paper.html)
|
||||
|
||||
## 摘要（中文转述）
|
||||
|
||||
该工作联合第一视角视频与多通道麦克风阵列音频，检测佩戴者及周围人的语音活动并定位活跃说话人。模型考虑头部运动、遮挡、噪声与画外声源，在整个空间方向上定位讲话者，同时预测佩戴者自己的活动，面向真实增强现实设备的实时感知。
|
||||
|
||||
## 与当前项目的关系
|
||||
|
||||
它表明多人 AV 建模不能只关注画面里的一张脸，应区分佩戴者、可见参与者与画外声源。其任务是当前活动检测/定位，不是预测未来接话。
|
||||
|
||||
## 适用边界
|
||||
|
||||
原作利用多通道空间信息。我们的 mono/混合音轨不能凭空恢复同等阵列线索；EasyCom 多通道扩展需与当前输入设定分开报告。人脸分支应保留不可见声源通道，不能把“没有可见人讲话”直接判为 silence。
|
||||
@@ -0,0 +1,19 @@
|
||||
# Egocentric Auditory Attention Localization in Conversations
|
||||
|
||||
- 作者：Fiona Ryan、Hao Jiang、Abhinav Shukla、James M. Rehg、Vamsi Krishna Ithapu
|
||||
- 会议：CVPR 2023
|
||||
- 阅读深度：摘要及引言筛选
|
||||
- 记录日期：2026-08-27
|
||||
- 官方来源：[CVF 论文页](https://openaccess.thecvf.com/content/CVPR2023/html/Ryan_Egocentric_Auditory_Attention_Localization_in_Conversations_CVPR_2023_paper.html)
|
||||
|
||||
## 摘要（中文转述）
|
||||
|
||||
该工作研究多人噪声对话中佩戴者在听谁，而不只检测谁在发声。方法结合第一视角视频、多通道音频、时空 AV 特征与场景推理，预测佩戴者听觉注意目标的热图，并在多人对话数据上与基线比较。
|
||||
|
||||
## 与当前项目的关系
|
||||
|
||||
说话人的存在、当前发声和佩戴者关注对象是不同变量。可把参与者区域、头部朝向和互动关系视为接话预测的候选线索，但不能默认视线或头朝向等于真实听觉注意。
|
||||
|
||||
## 本项目的待验证迁移
|
||||
|
||||
以参与者集合而非全图平均特征做融合，并在有可靠标注时分析互动对象相关的错误。不要仅凭 wearer/others 活动标签生成“在听谁”的真值，也不要把原作检测结果当作未来轮次预测成绩。
|
||||
@@ -0,0 +1,19 @@
|
||||
# OmniMMI: A Comprehensive Multi-modal Interaction Benchmark in Streaming Video Contexts
|
||||
|
||||
- 作者：Yuxuan Wang 等
|
||||
- 会议：CVPR 2025
|
||||
- 阅读深度：摘要级筛选
|
||||
- 记录日期：2026-08-27
|
||||
- 官方来源：[CVF 论文页](https://openaccess.thecvf.com/content/CVPR2025/html/Wang_OmniMMI_A_Comprehensive_Multi-modal_Interaction_Benchmark_in_Streaming_Video_Contexts_CVPR_2025_paper.html)
|
||||
|
||||
## 摘要（中文转述）
|
||||
|
||||
OmniMMI 面向持续输入下的多模态交互，评估流式理解与主动推理等能力，并提出多模态复用框架 M4，尝试让模型在生成时继续接收视觉和听觉信息。工作强调完整视频后的问答准确率不足以衡量在线交互，需要考虑响应时刻与连续输入。
|
||||
|
||||
## 与当前项目的关系
|
||||
|
||||
可借鉴“判断内容是否正确”和“何时做出判断”分开评估的思想。我们的 headline 仍应保持 EgoSpeak 的因果预测协议，再补充事件级时机指标、漏报/误触发和延迟。
|
||||
|
||||
## 适用边界
|
||||
|
||||
主动提醒与人类自然接话不是同一个任务。不能直接用其回答准确率或响应阈值替代 EasyCom/Ego4D 的活动 AP，也不能只报每秒输出五次就宣称端到端实时。
|
||||
@@ -2,7 +2,9 @@
|
||||
|
||||
本目录持久化记录我们在本项目讨论中实际阅读、分析或筛选过的论文。这里的“摘要”均为面向当前课题的中文转述，不是原文摘要的复制。
|
||||
|
||||
最后更新：2026-08-26
|
||||
最后更新：2026-08-27
|
||||
|
||||
本轮专题：[多人 AV、多速率流式处理与四条实验路线](2026-08-27_multirate_speaker_aware_routes.md)。新增 21–27 七篇笔记，并补充 01、05、16 的适用边界；摘要级筛选不等同于全文复现。
|
||||
|
||||
## 阅读深度
|
||||
|
||||
@@ -34,19 +36,29 @@
|
||||
| 18 | [LLM-Enhanced Dialogue Management](18_llm_enhanced_dialogue_management.md) | 2025/2026 | 摘要级筛选 | 模块化流式对话控制状态 |
|
||||
| 19 | [Aligning Spoken Dialogue Models from User Interactions](19_aligning_spoken_dialogue_from_interactions.md) | 2025 | 摘要级筛选 | 从用户交互构造偏好数据 |
|
||||
| 20 | [Optimizing Conversational Quality with RLAIF](20_spoken_dialogue_rlaif.md) | 2026 | 摘要级筛选 | 块级语音生成与多奖励偏好优化 |
|
||||
| 21 | [VideoLLM-online](21_videollm_online.md) | 2024 | 摘要级筛选 | 流式训练目标、时间对齐与在线推理 |
|
||||
| 22 | [ProVideLLM](22_providellm.md) | 2025 | 摘要及引言筛选 | 短期细粒度视觉与长期压缩记忆 |
|
||||
| 23 | [Multi-speaker Attention Alignment](23_multi_speaker_attention_alignment.md) | 2026 | 重点章节阅读 | 说话人区域与话语对齐；原工作是视觉—文本设定 |
|
||||
| 24 | [EgoAVU](24_egoavu.md) | 2026 | 摘要及官方实现说明筛选 | 第一视角 AV 对应关系、模态偏置与任务适配 |
|
||||
| 25 | [Egocentric Deep Multi-Channel AV Active Speaker Localization](25_egocentric_av_speaker_localization.md) | 2022 | 摘要及引言筛选 | 佩戴者、可见及画外说话人的活动与位置 |
|
||||
| 26 | [Egocentric Auditory Attention Localization in Conversations](26_egocentric_auditory_attention.md) | 2023 | 摘要及引言筛选 | 区分谁在说话与佩戴者在听谁 |
|
||||
| 27 | [OmniMMI](27_omnimmi.md) | 2025 | 摘要级筛选 | 主动流式交互评测与多模态复用 |
|
||||
|
||||
## 当前综合判断
|
||||
|
||||
对本项目最直接的主线不是立即把三分类预测改成通用 RL，而是：
|
||||
截至 2026-08-27，四状态/BCE 和 R1/R2 的活动预测增益较小；R1/R2 仅有两个已报告 seed，不能视作最终结论。最后四层读取有较大单次增益，但仍需匹配训练配置的多 seed 对照。参见[损失消融](../results/easycom_loss_structure_4ep_2026-08-26/README.md)、[transition 消融](../results/easycom_transition_auxiliary_4ep_2026-08-27/README.md)和[last-4 结果](../results/easycom_frozen_3b_8s_last4_learned_mix_2026-08-26/README.md)。
|
||||
|
||||
1. 以 Qwen2.5-Omni 原生流式语义和 EgoSpeak 协议为任务基础。
|
||||
2. 从 ROMA 借鉴末层聚合、时机与内容解耦以及独立决策头。
|
||||
3. 先用 SoulX-Duplug、Action Sensitivity Learning 一类监督式状态或边界强化建立可靠增益。
|
||||
4. 若转向交互式闭环训练，再借鉴 DuplexPO 的动态关键窗口和 ASPIRin 的低维动作空间，避免对语义表示进行不受约束的 RL。
|
||||
当前建议把资源优先投入以下四条待验证路线，而不是继续放大 transition loss 或直接转向通用 RL：
|
||||
|
||||
1. 多速率近期/历史表征：保留块式 Omni 上下文，同时显式保留每 200 ms 更新的近期 AV 线索。
|
||||
2. 说话人感知对齐：从合并的 others 场景描述，走向按参与者组织的音视频证据。
|
||||
3. 分块稳定性：先测 chunk phase，再检验相位输入、分块偏移增强和严格因果教师蒸馏。
|
||||
4. 选择性适配：冻结骨干建立有效分支，再有限度调整连接层或上层 LoRA。
|
||||
|
||||
这些是本项目的研究假设，不是所引论文已在 EasyCom/Ego4D 接话预测上验证的结论。现有 open-stream 已经输出 5 Hz 状态；需要检验的是局部信息质量，而不是把已有 200 ms 更新误写为不存在。四状态表达 overlap，但不区分多个他人的身份。
|
||||
|
||||
## 维护约定
|
||||
|
||||
- 新增论文时，创建独立 Markdown 文件，并在本索引登记阅读深度。
|
||||
- 若后来深入阅读过一篇摘要级论文，更新其阅读深度、方法细节和实验结论。
|
||||
- 实验设计引用具体数值前，应再次核对论文正文、版本和官方实现。
|
||||
|
||||
|
||||
Reference in New Issue
Block a user