Record targeted manuscript storyline in AGENTS
This commit is contained in:
@@ -21,6 +21,37 @@
|
||||
跨过下一次 other onset,yield 不能跨过下一次 other offset。在该问题修正前,事件结果
|
||||
只能称为 timing-derived proxy。
|
||||
|
||||
## Targeted manuscript 的固定故事主线
|
||||
|
||||
写作入口是**第一视角会话代理的 when-to-speak 预测**:相机佩戴者通常不在画面里,
|
||||
模型须从严格因果的多人音视频流预测其未来讲话活动。先概述活跃的 turn-taking/VAP、
|
||||
多方对话和流式语音交互研究,再准确定位缺口:第一视角 AV 已有 EgoSpeak、
|
||||
3M-Transformer、AV-CONV 等先例,不能宣称“首个 egocentric AV turn-taking”;
|
||||
当前要研究的是单个 wearer 的 5 Hz 未来活动预测中,Omni 全局状态能否及时暴露
|
||||
局部视听证据。相关工作按轮次预测、第一视角视听、流式 Omni/编码器适配三组组织,
|
||||
以约 25--30 篇经过核对的文献支撑,而非堆砌引用。具体边界见
|
||||
[`docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md`](docs/multiparty_egocentric_floor_gap_audit_2026-08-30.md)。
|
||||
|
||||
方法叙事是两个**截止时刻对齐的接口**,不是声称所有 Omni 都缺乏局部感知:
|
||||
|
||||
- **SWE(short-window encoder evidence,短窗编码器证据)**:把最近 1 秒的音频
|
||||
编码特征及可选的因果人物框视觉特征直接接到冻结 Omni readout 的预测头。
|
||||
“短窗/时间局部”指观测范围,不称为浅层网络特征,也不把冻结骨干加 head 写成
|
||||
端到端训练。
|
||||
- **PTR(partial-tail refresh,部分尾块刷新)**:在复用已完成块的同时,于每个
|
||||
200 ms 截止时刻只查询当前未完成 2 秒块的已观测前缀。2 秒是本项目 Qwen 提取
|
||||
的块设置,相对 200 ms 决策间隔较粗;不能推广为所有 Omni 模型的固定块长。
|
||||
PTR 的独立准确率收益和运行延迟须经相同 cutoff、相同上下文上限的配对实验验证。
|
||||
|
||||
论文按 Introduction/Related Work → Method → Experiments → Results and Analysis →
|
||||
Conclusion 展开。EasyCom 用官方 Sessions 4--12/1--3 划分做 0.2--2.0 秒十个
|
||||
horizon mAP、raw onset/offset、局部音视频与 oracle/时序消融;Ego4D 用于同协议
|
||||
迁移检验。**当前只有 EasyCom 已归档筛查分数;Ego4D 测试分数、匹配的 PTR
|
||||
消融和可靠的事件级行为结论均未完成**。稿件可写明 Ego4D 实验协议与待填表,
|
||||
不得写成已获得跨数据集提升;raw endpoint AP 不能替代语义 EOT/INT。将实测、
|
||||
历史非匹配 screen、分析用 privileged oracle、待测方案明确分开。targeted 正文见
|
||||
[`manuscript/targeted/main.tex`](manuscript/targeted/main.tex)。
|
||||
|
||||
## 不可破坏的研究契约
|
||||
|
||||
- 严格因果:任何输入音频、视频帧、人物框或归一化统计不得来自预测截止时间之后。
|
||||
|
||||
Reference in New Issue
Block a user