Freeze targeted introduction storyline
This commit is contained in:
@@ -21,36 +21,46 @@
|
||||
跨过下一次 other onset,yield 不能跨过下一次 other offset。在该问题修正前,事件结果
|
||||
只能称为 timing-derived proxy。
|
||||
|
||||
## Targeted manuscript 的固定故事主线
|
||||
## Targeted manuscript 的 Introduction 冻结叙事
|
||||
|
||||
写作入口是**第一视角会话代理的 when-to-speak 预测**:相机佩戴者通常不在画面里,
|
||||
模型须从严格因果的多人音视频流预测其未来讲话活动。先概述活跃的 turn-taking/VAP、
|
||||
多方对话和流式语音交互研究,再准确定位缺口:第一视角 AV 已有 EgoSpeak、
|
||||
3M-Transformer、AV-CONV 等先例,不能宣称“首个 egocentric AV turn-taking”;
|
||||
当前要研究的是单个 wearer 的 5 Hz 未来活动预测中,Omni 全局状态能否及时暴露
|
||||
局部视听证据。相关工作按轮次预测、第一视角视听、流式 Omni/编码器适配三组组织,
|
||||
以约 25--30 篇经过核对的文献支撑,而非堆砌引用。具体边界见
|
||||
[`docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md`](docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md)。
|
||||
以下四段的顺序、问题定义和论证主线已经确定。除非用户明确要求,后续不再重排
|
||||
Introduction 的故事或改换核心研究问题;可继续核实文献、修正证据边界、精炼学术措辞和
|
||||
调整排版。以 [`manuscript/targeted/main.tex`](manuscript/targeted/main.tex) 的 Introduction
|
||||
为正文基准,不把计划写成实测。
|
||||
|
||||
方法叙事是两个**截止时刻对齐的接口**,不是声称所有 Omni 都缺乏局部感知:
|
||||
1. **任务与动机。** 从第一视角会话代理能够回答现场问题、补充语境、辅助佩戴者出发,
|
||||
说明它不仅要决定说什么,还要决定何时开始、等待、停止说话。判断依赖严格因果的
|
||||
音频、可见行为和语言线索;人数与角色随场景变化。两名可见的人彼此交谈不应触发
|
||||
代理回复,且 wearer 通常不在画面中。因此关注的是 wearer 的未来讲话活动,而非
|
||||
当前可见说话人身份、addressee 或语义 EOT。
|
||||
2. **相关工作与精确缺口。** 原先分开的相关工作段落合为一个自然段,不加黑体引导词。
|
||||
连贯比较 VAD 的语音活动、双人 VAP 和 Easy Turn/FastTurn 的轮次预测、双人 AV、
|
||||
固定三人和可变人数研究、MuVAP 的第三方静态视角及人脸轨迹、缺乏视觉关系信息的
|
||||
device-directed speech,再承认 EgoSpeak 已在 EasyCom/Ego4D 做第一视角 wearer
|
||||
未来语音预测,以及 3M-Transformer、AV-CONV、SICNet 和 active-speaker 工作的
|
||||
不同目标。缺口是:自然多人、单个第一视角、严格因果的流中,**集成式流模型如何
|
||||
保留预测截止时刻附近的证据,以预测不可见 wearer 的未来活动**。不得声称首个
|
||||
egocentric AV turn-taking;文献和 novelty 边界见
|
||||
[`docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md`](docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md)。
|
||||
3. **Omni 进展与局限。** 说明模态编码器、共享语言模型状态提供全局音视频与语义上下文;
|
||||
具体介绍 Qwen2.5-Omni 3B/7B、分块处理、Thinker/Talker。本研究实测的是冻结 3B
|
||||
Thinker readout,7B 仅为计划控制。在本项目配置中,原生 2 秒音频块相对 200 ms
|
||||
预测频率较粗:只复用完成块会使局部证据变旧,强行每 200 ms 提交则改变原生块表示。
|
||||
多层集成状态可能不如编码器特征直接暴露瞬时线索,但仍有全局上下文优势;不能
|
||||
泛称所有 Omni 模型都缺乏局部感知。
|
||||
4. **本文观点与三项贡献。** 先提出保留 Omni 全局状态、同时在每个因果截止点显式接入
|
||||
近期模态证据的观点,再以冒号引出三项贡献:(1) SWE(short-window encoder
|
||||
evidence,短窗编码器证据)将近期音频与可选的因果人物框视觉特征接入冻结 Omni
|
||||
预测头;“短窗”指时间局部,不是浅层网络或任务级端到端训练。(2) PTR(partial-tail
|
||||
refresh,部分尾块刷新)在复用已完成块时只查询未完成块已观测前缀,不把它提交到
|
||||
持久历史;其收益须由相同 cutoff、相同上下文上限的配对实验验证。(3) EasyCom
|
||||
细致分析与 Ego4D 同协议迁移评估。当前只有 EasyCom 已归档筛查结果;Ego4D 分数、
|
||||
匹配 PTR 消融和可靠事件级行为结论仍待完成,不能写成已验证的提升。
|
||||
|
||||
- **SWE(short-window encoder evidence,短窗编码器证据)**:把最近 1 秒的音频
|
||||
编码特征及可选的因果人物框视觉特征直接接到冻结 Omni readout 的预测头。
|
||||
“短窗/时间局部”指观测范围,不称为浅层网络特征,也不把冻结骨干加 head 写成
|
||||
端到端训练。
|
||||
- **PTR(partial-tail refresh,部分尾块刷新)**:在复用已完成块的同时,于每个
|
||||
200 ms 截止时刻只查询当前未完成 2 秒块的已观测前缀。2 秒是本项目 Qwen 提取
|
||||
的块设置,相对 200 ms 决策间隔较粗;不能推广为所有 Omni 模型的固定块长。
|
||||
PTR 的独立准确率收益和运行延迟须经相同 cutoff、相同上下文上限的配对实验验证。
|
||||
|
||||
论文按 Introduction/Related Work → Method → Experiments → Results and Analysis →
|
||||
Conclusion 展开。EasyCom 用官方 Sessions 4--12/1--3 划分做 0.2--2.0 秒十个
|
||||
horizon mAP、raw onset/offset、局部音视频与 oracle/时序消融;Ego4D 用于同协议
|
||||
迁移检验。**当前只有 EasyCom 已归档筛查分数;Ego4D 测试分数、匹配的 PTR
|
||||
消融和可靠的事件级行为结论均未完成**。稿件可写明 Ego4D 实验协议与待填表,
|
||||
不得写成已获得跨数据集提升;raw endpoint AP 不能替代语义 EOT/INT。将实测、
|
||||
历史非匹配 screen、分析用 privileged oracle、待测方案明确分开。targeted 正文见
|
||||
[`manuscript/targeted/main.tex`](manuscript/targeted/main.tex)。
|
||||
后续 Method → Experiments → Results and Analysis → Conclusion 顺着这条主线展开。
|
||||
EasyCom 遵循官方 Sessions 4--12/1--3 划分;十个 0.2--2.0 秒 horizon 的活动预测、
|
||||
raw onset/offset、局部音视频和 oracle/时序消融应区分实测、历史非匹配 screen、
|
||||
仅用于分析的 privileged oracle 与待测方案。raw endpoint AP 不等同语义 EOT/INT。
|
||||
|
||||
## 不可破坏的研究契约
|
||||
|
||||
|
||||
Reference in New Issue
Block a user