Record speaker-aware AV research and literature

This commit is contained in:
Xin Wang
2026-08-30 15:36:28 +08:00
parent 4abbde4f52
commit 348c5c3343
29 changed files with 907 additions and 6 deletions
+13
View File
@@ -0,0 +1,13 @@
# Adaptive Unimodal Regulation for Balanced Multimodal Information Acquisition
- 作者:Chengxiang Huang、Yake Wei、Zequn Yang、Di Hu
- 发表:CVPR 2025
- 阅读深度:摘要、引言及代码发布核查;尚未复核完整算法
- 记录日期:2026-08-28
- 来源:[CVF](https://openaccess.thecvf.com/content/CVPR2025/html/Huang_Adaptive_Unimodal_Regulation_for_Balanced_Multimodal_Information_Acquisition_CVPR_2025_paper.html)、[代码](https://github.com/GeWu-Lab/InfoReg_CVPR2025)
## 摘要与项目关系
InfoReg 研究早期学习时信息强模态主导、弱模态信息获取受抑制的问题,通过调节学习过程改善模态平衡。
我们 A 明显强于 V,值得检查视觉分支梯度、辅助任务能力和缺失模态训练,但这尚不能诊断为优化失衡,也可能是采样或表示丢失。当前冻结特征无法通过调整 head 梯度修复 encoder 丢失的信息。本论文作为训练策略候选,不作为已经适用的处方。