Add shared-AV multiwindow Qwen feature extraction
This commit is contained in:
@@ -1,7 +1,8 @@
|
||||
# Local evidence analysis:待做实验日志
|
||||
|
||||
日期:2026-09-17。状态:**设计已记录,以下实验均未在本轮执行**。
|
||||
只修改日志与手稿占位,不新增训练、提取或 evaluator 实现;未产生新的实测结果。
|
||||
日期:2026-09-17。状态:**设计已记录,以下 GPU 实验均未在本轮执行**。
|
||||
初始记录只修改日志与手稿占位;同日已追加多窗口提取实现和 CPU 测试,见文末。
|
||||
未产生新的模型性能或 GPU 效率实测结果。
|
||||
当前稿件边界见 [四页稿结构决策](manuscript_local_evidence_structure_2026-09-17.md)。
|
||||
|
||||
## 本轮决定与篇幅
|
||||
@@ -47,7 +48,7 @@ MiniROADA stage-two continuation 不是 Omni LoRA,也不替代其适配对照
|
||||
| L4 | 因果 current-activity classifier,当前预测概率重复至十个 horizon | Dense 收益是否主要是更好的当前状态识别? | Main Comparison TODO |
|
||||
| T1 | 8-s cap 下 tail refresh × local A 的四组训练对照 | 两条最新证据路径互补,还是冗余? | Streaming 表上半部 |
|
||||
| T2 | 同 block decomposition 从头 replay、future-only media intervention、cache reset;按十档 phase 分层 | cache 正确性与 tail-length dependence 是否成立? | Streaming TODO |
|
||||
| C1 | 4/8/16-s cap 的 tail-aware G+A;按 cap 重提取并分别训练 | 历史长度是否影响主方法,8 s 是否是合理折中? | Streaming 表下半部 |
|
||||
| C1 | 初始 4/8/16-s 计划已扩展为 2/4/6/8/10/12-s 共享提取、独立 tail-aware G+A 训练;16 s 暂不执行 | 历史长度是否影响主方法,8 s 是否是合理折中? | Streaming 表下半部;完整曲线留日志 |
|
||||
| C2 | 仅当要声称 local 分支缓解窗口敏感性时,在各 cap 增加 G 对照 | 窗口能否替代近期证据?融合是否对 cap 更稳定? | 条件追加,不新增正文小节 |
|
||||
| B0 | 审计各骨干的 causal readout、维度、刷新与实际历史范围;先短片 GPU smoke | 跨骨干样本和接口是否可比? | Setup / Backbone transfer 说明 |
|
||||
| B1 | Qwen2.5-Omni 3B/7B 各跑 G 与 G+A,保持同一份 local A | 增量是否在同系列不同规模下保留? | Local Evidence + compact 表末三行 |
|
||||
@@ -88,7 +89,8 @@ completed-only 未得到首个 state 的行在全部条件中统一处理并报
|
||||
|
||||
## 窗口与运行代价
|
||||
|
||||
C1 中 local A/V 固定 1 s,Omni cap 为预先指定的 4/8/16 s。各 cap 的 global state
|
||||
C1 中 local A/V 固定 1 s;同日按用户确认将 Omni cap 改为 2/4/6/8/10/12 s,
|
||||
暂不跑初始计划中的 16 s。六个 cap 均保留,不按测试 AP 再挑选长度。各 cap 的 global state
|
||||
必须从对应因果输入提取,不能通过裁剪缓存向量伪造窗口。8-s cap 行与 T1-T-GA
|
||||
复用同一个确切 run,不重复训练后择优填写两处。
|
||||
固定 checkpoint 改 cap 若执行,单独标成 distribution-shift sensitivity;不能混入
|
||||
@@ -197,3 +199,30 @@ metrics.csv,保留 provenance 与协议。正文替换 TODO/--,不要把 pen
|
||||
同日追加 backbone-transfer 短段和三行增量空位后重新编译、渲染检查全部四页,
|
||||
仍为四页含参考文献;链接、TeX/bib keys、单展示公式与 `git diff --check` 再次通过。
|
||||
未修改旧运行或宣称跨骨干提取/对照已完成。
|
||||
|
||||
## 同日追加:C1 多窗口提取实现,GPU 实验仍 pending
|
||||
|
||||
用户确认“一条提取命令得到六个 cap 的特征,再分别训练”,已实现
|
||||
[extract_easycom_multiwindow.py](../extract_easycom_multiwindow.py),
|
||||
底层 [streaming_turn_multiwindow.py](../streaming_turn_multiwindow.py)。
|
||||
共享 session reader、各 200 ms cutoff 的 AV preprocessing/encoder embeddings,
|
||||
但每个 cap 独立 Thinker KV、滚动重建和 readout;绝不裁剪长窗口高层 KV 代替短窗口。
|
||||
每个 `context_Cs/Session_N.pt` 是正常 `open-stream-replay` dense bank,
|
||||
可复用同一份已验证的 1 s local sidecar 和现有四 epoch 训练脚本。
|
||||
|
||||
CPU 合成测试覆盖 24 s(含所有 cap 的滚动重建),逐点匹配六次单窗口生产提取;
|
||||
AV 生产调用从 `6T` 降为共享 `T`,Thinker 仍逐 cap 执行。验证调用不计入该生产统计。
|
||||
同时检查从原输入从头 replay、可变 KV 隔离、未来输入干预不回填过去、session reset、
|
||||
last4 stack/mean、单窗口 CLI 兼容、head/local 成功与失败加载、输出覆盖防护。
|
||||
既有 head objective、local feature、encoder-only 和 chunk-ablation CPU 回归通过。
|
||||
|
||||
实际时间轴 cutoff=20.6 s:cap=2/4/6/8/10/12 s 的 global history start 分别为
|
||||
20/18/16/14/12/10 s;所有状态 source time=20.6 s,local A=[19.6,20.6),
|
||||
0.2 s target=20.8 s。Cap 是 native-block 最大预算而非逐行精确固定长度滑窗;
|
||||
必须同时记录 phase 和 actual context span。
|
||||
|
||||
尚未执行真实 Qwen/媒体 GPU smoke、全量提取、六-cap head 训练或吞吐/显存测量。
|
||||
先用 Session 4 的 24 s smoke 检查六 bank shape/time/valid 与 independent replay,
|
||||
再按 [多窗口运行手册](easycom_multiwindow_features.md) 提取所有 sessions。
|
||||
联合多-bank 耗时不是单窗口在线效率;不能据 CPU 调用计数写性能增益或实时结论。
|
||||
本次不修改 manuscript 数值或将 C1/T2/S1 标为 measured。
|
||||
|
||||
Reference in New Issue
Block a user