40 lines
6.6 KiB
Markdown
40 lines
6.6 KiB
Markdown
# 多人 AV、多速率流式处理与四条实验路线
|
||
|
||
记录日期：2026-08-27。以下是文献启发下的本项目假设与实验建议，不是已完成的实现、已验证的增益或已确立的论文新颖性结论。
|
||
|
||
## 本轮相关阅读
|
||
|
||
- 块式多模态基础：[Qwen2.5-Omni](01_qwen2_5_omni.md)、[ROMA](05_roma.md)。ROMA 本轮按预印本记录，不与已核验会议论文混称。
|
||
- 流式输入与分层记忆：[VideoLLM-online](21_videollm_online.md)、[ProVideLLM](22_providellm.md)。
|
||
- 多人对应与第一视角感知：[Multi-speaker Attention Alignment](23_multi_speaker_attention_alignment.md)、[EgoAVU](24_egoavu.md)、[AV Speaker Localization](25_egocentric_av_speaker_localization.md)、[Auditory Attention Localization](26_egocentric_auditory_attention.md)。
|
||
- 任务及评测：[EgoSpeak](02_egospeak.md)、[Multimodal Turn-taking and Backchannel](16_multimodal_turn_taking_backchannel.md)、[OmniMMI](27_omnimmi.md)。
|
||
|
||
每篇笔记分别保存中文转述摘要、官方来源、阅读深度与适用边界；新编号为 21–27。
|
||
|
||
## 现有证据与不能推断的结论
|
||
|
||
- [open-stream 与 causal-prefix](../results/easycom_open_stream_vs_causal_prefix_2026-08-19/README.md)的单次比较中，后者 mean mAP 高 0.514，0.2 秒高 2.393。差异集中于短 horizon，支持检验分块/近期信息假设，但窗口保留、AV 排列、前端边界等也可能参与，不能认定 chunk 是唯一原因。
|
||
- [最后四层读取](../results/easycom_frozen_3b_8s_last4_learned_mix_2026-08-26/README.md)的记录相对旧单层基线约增 2.015 mean mAP；训练配置尚需匹配，权重近均匀，尚不能证明 learned mix 优于固定 mean。
|
||
- [四状态/BCE 消融](../results/easycom_loss_structure_4ep_2026-08-26/README.md)与[R1/R2](../results/easycom_transition_auxiliary_4ep_2026-08-27/README.md)没有建立明显的活动预测提升。四状态是对 overlap 的表达改进，不是多个人身份建模；R2 是离线标签上的精确期望奖励控制，不是交互 RL。
|
||
- [稀疏 LoRA 试验](../results/easycom_sparse_supervision_vs_lora_2026-08-24/README.md)退化，但这是特定训练配方的诊断，不能据此认定 LoRA 普遍无效。
|
||
|
||
## 四条路线：展开说明
|
||
|
||
**路线一：多速率近期/历史适配器。** 当前 open-stream 已经每 200 ms 产生状态，所以要改善的是状态中的局部证据，而不是补一个已有的更新频率。保留块式 Omni 历史及 last-4 语义表征，另设每 200 ms 更新的短期因果窗口，保留最近 1–2 秒音频动态和轻量人脸/头部运动特征，再用门控或交叉注意力融合。200 ms 是更新步长，不要求音频编码器每次只看孤立的 200 ms。5–10 FPS 局部视频是待测配置，必须从原始视频读取而非对 2 FPS 重复插帧；没有新帧时保留旧特征并记录时间戳/新鲜度。先冻结骨干，比较原头、近期分支单独使用、普通拼接和双分支融合，并控制参数量及媒体预算；只有超过这些对照，才能把增益归因于多速率组织。
|
||
|
||
**路线二：说话人感知 AV 对齐。** 将可见参与者的区域特征按因果 track 组织成集合，在混合音频条件下学习哪些人及其动作与当前互动相关；另留不可见佩戴者和画外/未定位声源表示，不能假设所有声音都有对应人脸。可用训练集的逐人语音活动作辅助监督，而主预测仍输出 silence/wearer-only/others-only/overlap，以兼容三路评测。多人并发时不能简单相加各人的发声概率当作 others 概率；可直接从集合特征训练全局活动头。真值框、身份和说话对象只能用于明确声明的监督或 oracle 分析，正式在线系统要计入检测/跟踪误差和成本。若增益尤其体现在多参与者、重叠和交接子集，才支持“多人 AV 对齐”的机制解释。
|
||
|
||
**路线三：分块稳定性与严格因果蒸馏。** 先按块内十个 200 ms 相位统计误差，控制事件比例，并对相同时间点采用不同分块边界比较，确认是否存在边界依赖。之后分别测试相位输入、随机分块起点、以及 causal-prefix 教师的软预测蒸馏，不一次加入所有模块。教师和学生必须只看截至 t 的真实媒体，并匹配上下文预算、标签及训练划分；教师可以离线计算，但不能看未来。目标是提高预测正确性与对分块选择的鲁棒性，而不是逼不同输入语义的 hidden state 达到 cosine=1。也不能强迫相邻时刻的预测相同，否则会抹掉真正的快速语音转换；应比较同一 t 的不同实现/分块视图。
|
||
|
||
**路线四：选择性 AV 适配。** 在冻结骨干的分支/头上先获得可重复收益，再分别试实际存在的模态连接层、少量上层 LoRA，使用较小学习率并与冻结对照匹配训练样本和更新步数；不要同时解冻全部模块。训练可保留活动预测，并将逐人活动/跨模态对应作为独立可消融的监督；是否加 dropout 或教师约束也要单独验证。权重更新后必须重新计算受影响的媒体特征或 KV，不能把旧骨干缓存当作新骨干表示。超参与 checkpoint 应在训练 session 内部留出数据选择；若继续不设 dev，则事先固定配置和训练时长，不根据正式测试集择优。该路线用于提升任务适配能力，但不是“八卡就保证有收益”的承诺。
|
||
|
||
## 共同验证要求与论文定位
|
||
|
||
1. 先固定主协议、输入条件和活动 loss；四状态/BCE 保留为对照，不把微小差异包装成主要贡献。
|
||
2. 比较 A-only、V-only、AV；在有可靠标注时分层报告参与人数、wearer onset/offset、overlap 与交接。`others` 内部 A→B 的转换不能仅凭三路标签恢复。
|
||
3. 除总体及 wearer AP，还报告分块相位、按 session 的差异、匹配多 seed，以及前端+融合+骨干的真实延迟、显存和吞吐。200 ms 更新周期不等于实测延迟达标。
|
||
4. 八卡可以并行实验，但新局部/说话人分支需要先提取原始高频媒体和因果 tracks，不能直接把现有 `[T,4,2048]` 冻结状态当作它们的输入替代。
|
||
5. 路线一解决时间尺度，路线二对应多人特性，路线三是边界控制，路线四是后续适配。它们是可以逐项证伪的研究方向，不是需要全部叠加的四个模块；论文贡献应由最终有效机制决定。
|
||
|
||
候选定位：在第一视角多人环境中，以说话人感知的多速率 AV 适配提高因果活动/接话预测。当前三/四状态评测不等同于全参与者的 next-speaker 分配；若后续声称身份级多人轮次能力，需另设逐人标签与评测。
|