Record speaker-aware AV research and literature

2026-08-30 15:36:28 +08:00
parent 4abbde4f52
commit 348c5c3343
29 changed files with 907 additions and 6 deletions
@@ -0,0 +1,13 @@
+# LoCoNet: Long-Short Context Network for Active Speaker Detection
+
+- 作者：Xizi Wang、Feng Cheng、Gedas Bertasius、David Crandall
+- 发表：CVPR 2024
+- 阅读深度：重点方法、训练、Ego4D 实验与代码说明；未运行
+- 记录日期：2026-08-28
+- 来源：[论文](https://arxiv.org/html/2301.08237)、[CVF 论文](https://openaccess.thecvf.com/content/CVPR2024/papers/Wang_LoCoNet_Long-Short_Context_Network_for_Active_Speaker_Detection_CVPR_2024_paper.pdf)、[官方代码](https://github.com/SJTUwxz/LoCoNet_ASD)
+
+## 摘要与项目关系
+
+用较长人物内时序建模和较短跨人物互动建模识别正在发声的人，在包含 Ego4D 的 ASD 数据上验证。提供训练代码和 AVA 预训练权重链接，可作为专门 AV 表征路线。
+
+原方法对整段序列输出活动，不能直接视为因果未来预测。迁移需检查 temporal convolution、attention 和帧窗口，再训练/评测 causal 版本；不得将包含未来的离线特征接到因果 head。优先借鉴“人内时间＋人际交互”的分解，而非将相同混合音频重复后称为独立音源。