Refine targeted methods and freeze section structure
This commit is contained in:
@@ -62,6 +62,30 @@ EasyCom 遵循官方 Sessions 4--12/1--3 划分;十个 0.2--2.0 秒 horizon
|
||||
raw onset/offset、局部音视频和 oracle/时序消融应区分实测、历史非匹配 screen、
|
||||
仅用于分析的 privileged oracle 与待测方案。raw endpoint AP 不等同语义 EOT/INT。
|
||||
|
||||
## Targeted manuscript 的 Method 固定结构
|
||||
|
||||
Method 按以下三个小节展开,除非用户明确要求,不再改变这个组织顺序;具体特征和
|
||||
训练状态以代码、结果记录与 [`manuscript/targeted/main.tex`](manuscript/targeted/main.tex)
|
||||
为准。
|
||||
|
||||
1. **Task and Global--Local Fusion。** 定义 5 Hz 因果截止点、十个未来 horizon 和
|
||||
background/wearer/others 输出;说明 Thinker 全局状态本身已含音视频,再定义 SWE
|
||||
的近期音频及可选视觉旁路。区分 pooled 特征的拼接聚合与 F2/F3 保留视觉 token 的
|
||||
query attention。训练范围分开写:主方案只训练 readout/局部分支/预测头;Thinker
|
||||
LoRA、限制在上层的 LoRA、预测头冻结或联合训练是参数适配控制。最后四层
|
||||
**readout** 与 LoRA 更新哪些层是两个独立维度。已归档 LoRA 结果为非匹配探索,
|
||||
不能写成层数消融或优劣定论。
|
||||
2. **Causal Partial-Tail Refresh。** 完成块进入持久历史;每个 200 ms 截止点只临时查询
|
||||
当前 2 秒块已观测的前缀,尾块不提交、不中途引入未来媒体。与 completed-only
|
||||
在同一截止点和上下文上限下配对比较;未完成实验前只称因果访问规则。
|
||||
3. **Short-Window Feature Extraction。** 默认局部音频为截止点前一秒混合波形经冻结
|
||||
Qwen 音频编码器;EgoSpeak 式 wav2vec2 卷积编码是待做的同窗口、同预测头对照,
|
||||
不能冒充已测 G+A。视觉区分最近单帧、最近一秒多帧人物框 pooled 特征、无框的
|
||||
F2 最新全画面空间 token,以及 F3 同网格位置两帧 token 经共享 GRU 后注意力聚合。
|
||||
另列一种特殊的短窗信息审计:由转写标注生成、仅含截止点之前的可见非 wearer
|
||||
活动历史,比较逐人、打乱、延迟和 OR 聚合等形式。它不是部署时可获得的视觉特征,
|
||||
也不是性能上界。F3 不是人物跟踪,F3--F2 差异也不能单独归因于运动理解。
|
||||
|
||||
## 不可破坏的研究契约
|
||||
|
||||
- 严格因果:任何输入音频、视频帧、人物框或归一化统计不得来自预测截止时间之后。
|
||||
|
||||
Reference in New Issue
Block a user