Add wearer floor-state proxy evaluation

This commit is contained in:
Xin Wang
2026-08-30 18:02:12 +08:00
parent f1fe134057
commit 714b530fe4
3 changed files with 688 additions and 0 deletions
@@ -159,6 +159,35 @@ HeadRouter 可借鉴“不同 head 对语义/声学信号作用不同”的机
## 5. 路线 E:wearer onset/offset 与第三方交谈期间的未进入
### 当前最小协议:先用 wearer ground truth 分析实际状态切换
现有 5Hz wearer 活动标签已经足以开展第一阶段实验,不必等待新增语义标注。由 wearer
二值活动可直接、无歧义地派生 `OFF→ON`(开口)、`ON→OFF`(停止)、`OFF→OFF`
(保持沉默)和 `ON→ON`(继续说话),用于统计事件数量、训练/评测 wearer onset/offset,
以及比较模型是否更准确地预测 wearer 的实际行为。
结合现有 others 活动或逐人语音时间,还可定义时间关系 proxy:other 活动期间 wearer
保持沉默、other 结束附近 wearer 开口、other 开口附近 wearer 停止、wearer 与 other
重叠进入。这些足以支持 floor state change 的描述性分析和模型分层评测;例如在相同 wearer
开口召回率下,比较 other 持续活动区间的 false-entry rate。`other A→other B` 暂不作为
模型输出类别,从 wearer 视角可先合并为 floor 尚未向 wearer 开放的上下文。
但 wearer ground truth 只说明“人实际做了什么”,不能单独证明其“正确理解了什么”或
“应该怎么做”。时间重叠也不能直接命名为 interruption:它可能是顺畅交接、backchannel、
合作性重叠或噪声。因此第一阶段应使用 `EOT/HOLD proxy`、`early-entry/overlap proxy` 等
保守名称,不把观察到的行为升级为规范性的正确决策或语义 INT 真值。
若后续要把主张提升为“模型理解 other 的 EOT/INT 并据此行动”,可能需要补充或核验:
1. other 的讲话对象:`other→wearer`、`other→other`、group/unknown;
2. floor 事件语义:EOT、继续持有、自然停顿、对 wearer 的 interruption;
3. wearer 的重叠开口类型:正常接话、backchannel、竞争性 takeover、失败尝试、噪声/歧义。
这些新增标签不是当前 wearer 状态切换实验的前置条件。优先用自动规则派生 EOT/HOLD 并
抽样质检;只有 interruption/backchannel 等语用区别需要重点人工复核。EasyCom 的逐人
时间和讲话对象字段适合做主语义子集;Ego4D 只在逐人轨迹、voice segment 或 `is_at_me`
实际有覆盖时参与相应分析,缺失项必须 mask,不能当作负例。
### E0:先统一物理时间,再谈预测提前量
保留历史 `EgoSpeak-compatible` 标称 horizon,不改写旧成绩。