Restructure local-evidence manuscript and record analysis controls
This commit is contained in:
@@ -0,0 +1,109 @@
|
||||
# Local evidence adaptation:四页稿结构决策
|
||||
|
||||
日期:2026-09-17。状态:用户要求的内容重排,不是新模型实现或最终实验结论。
|
||||
本文更新当前稿件组织;此前战略记录保留其当时判断。
|
||||
|
||||
## 同日后续决定:分析与待做实验
|
||||
|
||||
按用户要求暂不展开 Omni LoRA。结果部分采用 Main Comparison、Local Evidence
|
||||
Analysis、Streaming and Context Analysis、Error and Qualitative Analysis。
|
||||
详细队列、tail × local audio 四组、4/8/16-s context cap、persistence baseline、
|
||||
capacity/recency 控制及运行代价记录在
|
||||
[待做实验日志](local_evidence_analysis_experiment_log_2026-09-17.md);全部 pending,
|
||||
不是新增实测结果,也没有启动训练或修改实现。正文保留数值表/图空位,先控制四页篇幅。
|
||||
Hard-negative/qualitative 合并;原始活动标签与语义负例不能混用,semantic audit 仍暂缓。
|
||||
同日追加 Qwen2.5-Omni 3B/7B 与 MiniCPM-o 4.5 的 backbone-transfer 配对。
|
||||
主骨干仍为 3B;各骨干 G→G+A 固定同一份 local A,并区分 refresh/history/readout
|
||||
差异。细节与准入门槛放日志,正文仅 Local Evidence 短段和 compact 表三行增量空位,
|
||||
不新增独立贡献或大节。MiniCPM 提取入口未 GPU 验证,native cache 不等于 8-s cap。
|
||||
|
||||
## 中心命题与三点贡献
|
||||
|
||||
以 **causal local evidence adaptation** 组织近期音频、可选局部视觉和当前尾块读取。
|
||||
两者不是相同表示:local A/V 显式暴露近期模态证据;tail handling 使全局 Thinker state
|
||||
包含截止时刻已经观测到的当前块。不能把 tail 误写为另一条已提取的内容 embedding。
|
||||
|
||||
1. **模型适配框架**:不可见 wearer 的 global--local future-activity forecasting,
|
||||
用冻结 Omni context 与近期模态证据融合,而非宣称首次提出多人 turn-taking。
|
||||
2. **流式实现**:bounded context + committed history + temporary partial tail,
|
||||
每 200 ms 对齐同一物理 cutoff。普通 cache 本身不是新算法;预测收益与实测效率待验证。
|
||||
3. **受控分析**:分别报告 dense forecasting 与 endpoint onset/offset anticipation,
|
||||
通过匹配容量、输入和刷新规则的对照定位收益,不能预写已改善语义 floor control。
|
||||
|
||||
第三项目前是研究设计,不是已通过的机制结论。近期音频是核心,视觉是可选消融;
|
||||
即使正确视觉没有增量,也可如实报告,不能让稿件依赖未验证的视觉收益。
|
||||
|
||||
## 四页技术内容预算
|
||||
|
||||
官方上限为四页技术内容(含图表),可选第五页仅参考文献,
|
||||
见 [ICASSP 2027 author guidelines](https://2027.ieeeicassp.org/author-guidelines/)
|
||||
和 [submission instructions](https://2027.ieeeicassp.org/paper-submission-instructions/)。
|
||||
篇幅符合要求不意味着工作必然被接收。
|
||||
|
||||
| 部分 | 建议预算 | 内容 |
|
||||
|---|---:|---|
|
||||
| Abstract + Introduction | 约 0.8 页 | 问题、相关工作、适配动机、三项贡献 |
|
||||
| Method | 约 1.1 页 | 两个子节及一张模型/流式对齐图 |
|
||||
| Experimental Setup | 约 0.6 页 | split、训练和两层 threshold-free 指标 |
|
||||
| Results and Analysis | 约 1.3 页 | 主表、关键机制/尾块对照、限制 |
|
||||
| Conclusion | 约 0.2 页 | 支持的窄结论 |
|
||||
|
||||
方法仅保留一条融合/输出公式,不展开普通 attention、mask、loss 或 cache 公式。
|
||||
最终数值表和一条 horizon/phase 曲线优先于增加候选方法。
|
||||
|
||||
## 与当前代码对齐
|
||||
|
||||
- 主体:`easycom_head.py` 的 last-four-layer concat-MLP、256D local projection、
|
||||
validity-aware feature concatenation 与 10×3 forecast head。
|
||||
- 局部:`extract_turn_local_features.py` 的近期 1s Qwen audio valid-token mean;
|
||||
可选视觉为 2FPS crop spatial mean → equal-person mean → recent valid-frame mean。
|
||||
- 流式:`streaming_turn_model.py` 的 `OpenStreamReplayExtractor`,
|
||||
2s source blocks、最多 8s presentation budget、完成块 payload 复用、临时 tail/cache
|
||||
分支及单次完成块提交。稳态 span 为约 6.2--8s,不是每行精确 8s sliding crop。
|
||||
- preserved-EgoSpeak residual 和阶段二仅为辅助架构实验,不是默认正文方法。
|
||||
- `tail_embedding` 仅存在于 `egospeak_omni_residual.py`,编码十档 block phase;
|
||||
不能归入当前 G+A head,更不是 tail-content/未来 horizon embedding。
|
||||
- from-scratch replay 的正确性参照必须使用同一 block decomposition。
|
||||
continuously encoded prefix 是独立表示对照,不能直接声称数值等价。
|
||||
|
||||
## 评测与实验边界
|
||||
|
||||
Dense:逐 horizon 三类 AP 的 mAP,再平均十个 horizon。Raw onset/offset:
|
||||
按 source wearer OFF/ON 条件化,分别用 p(wearer)/1-p(wearer) 判断 future endpoint。
|
||||
多个 source rows 可属于同一物理边界,不是 event detection 或 semantic ENTRY/YIELD。
|
||||
两类 AP 的 prevalence 不同,不直接比较其绝对值;比较方法时固定共同 valid pairs。
|
||||
|
||||
Opportunity-conditioned semantic evaluation 按用户决定暂缓。旧 annotation workload 和
|
||||
协议存于 [`annotation_protocol_notes.tex`](../manuscript/main/annotation_protocol_notes.tex),
|
||||
不编入四页正文;历史数值仍在原 results/reports 记录中,不改成 human-reviewed。
|
||||
P0 真实数据审核未完成,不能据此宣称减少抢话、理解 takeover 或 addressee。
|
||||
|
||||
新超参数、窗口和 recipe 只用训练侧 folds 确定。父 checkpoint 已见过的 Session 12
|
||||
不能算其 continuation 的独立 dev。已反复查看的 Sessions 1--3 属 exploratory evidence,
|
||||
新三种子只检验稳定性,不会自动恢复独立 confirmatory test 的性质。
|
||||
|
||||
最小对照:A/G/G+A;容量匹配;可选 V on/off;过去延迟的 local sensitivity;
|
||||
completed-only versus observed-tail refresh(local A 固定 5Hz);block-phase 分层。
|
||||
跨骨干对照报告同骨干 G/GA 增量;1-Hz hold 需匹配 Qwen 1-Hz 控制,不能用 2-s hold
|
||||
替代;5-Hz MiniCPM 行必须通过 tail/cache/因果及 history 可比性审计。
|
||||
在没有采样同一 cutoff 的 latency 和 memory 测量前,5Hz 是逻辑输出网格,不是实测 FPS。
|
||||
|
||||
## 稿件位置
|
||||
|
||||
- [`main.tex`](../manuscript/main/main.tex):重排正文,结果与机制结论仍显式 TODO。
|
||||
- [`method_architecture.tex`](../manuscript/main/figures/method_architecture.tex):
|
||||
模型与流式实现统一图,移除尚未测量的 25Hz MuVAP person-set 主结构。
|
||||
- [`README.md`](../manuscript/main/README.md):当前编译和 scope 说明。
|
||||
- [`REVIEWER_CHECKLIST.md`](../manuscript/main/REVIEWER_CHECKLIST.md):追加当前优先项,
|
||||
旧的 semantic/track 路线保留为条件分支,不是本轮硬性实验清单。
|
||||
|
||||
提交前还需最终 author kit、作者信息、全部 TODO、实验证据与 IEEE AI-assisted drafting
|
||||
披露检查。本轮仅修改文稿和图,未修改模型、目标、特征契约或训练 CLI。
|
||||
|
||||
## 本轮文档验证
|
||||
|
||||
使用本机已提供的 Tectonic 和现有未改动的 `spconf` / `IEEEbib` 模板编译,
|
||||
当前 working PDF 共四页(含参考文献);最终填入结果后须重新检查技术内容不超过四页。
|
||||
主方法仅一条展示公式。相对链接、TeX 引用和 bib keys 检查通过,
|
||||
`git diff --check` 通过;方法图与所有 PDF 页完成渲染检查,并修复图中文字重叠和表格溢出。
|
||||
结果 TODO 是有意保留的研究门槛,当前 PDF 不是可直接提交的最终稿。
|
||||
Reference in New Issue
Block a user