Add pooled local AV baselines and research notes

2026-08-27 14:19:33 +08:00
parent d34725778f
commit 11f197724f
23 changed files with 1541 additions and 28 deletions
@@ -0,0 +1,19 @@
+# Egocentric Auditory Attention Localization in Conversations
+
+- 作者：Fiona Ryan、Hao Jiang、Abhinav Shukla、James M. Rehg、Vamsi Krishna Ithapu
+- 会议：CVPR 2023
+- 阅读深度：摘要及引言筛选
+- 记录日期：2026-08-27
+- 官方来源：[CVF 论文页](https://openaccess.thecvf.com/content/CVPR2023/html/Ryan_Egocentric_Auditory_Attention_Localization_in_Conversations_CVPR_2023_paper.html)
+
+## 摘要（中文转述）
+
+该工作研究多人噪声对话中佩戴者在听谁，而不只检测谁在发声。方法结合第一视角视频、多通道音频、时空 AV 特征与场景推理，预测佩戴者听觉注意目标的热图，并在多人对话数据上与基线比较。
+
+## 与当前项目的关系
+
+说话人的存在、当前发声和佩戴者关注对象是不同变量。可把参与者区域、头部朝向和互动关系视为接话预测的候选线索，但不能默认视线或头朝向等于真实听觉注意。
+
+## 本项目的待验证迁移
+
+以参与者集合而非全图平均特征做融合，并在有可靠标注时分析互动对象相关的错误。不要仅凭 wearer/others 活动标签生成“在听谁”的真值，也不要把原作检测结果当作未来轮次预测成绩。