1.3 KiB
1.3 KiB
HeadRouter: Dynamic Head-Weight Routing for Task-Adaptive Audio Token Pruning in Large Audio Language Models
- 作者：Peize He 等
- 发表状态：作者官方项目页与仓库宣布 ACM MM 2026 接收；本次未另外核对 ACM 正式论文集
- 阅读深度：重点方法/校准章节及官方代码说明；未安装或运行
- 记录日期：2026-08-28
- 来源：论文、作者项目页、官方仓库
- 注意：不是同名的图像编辑 HeadRouter
摘要（中文转述）
该方法观察到音频任务中语义与声学所依赖的注意力头不同，按输入行为混合 head 权重后选择音频 token，实现冻结模型的任务自适应压缩。官方代码提供 Qwen2.5-Omni 集成。其路由分布使用少量开发集统计校准，因此 train-free 不等于完全 data-free。
本项目的启发与边界
可借鉴 head 分工和探测实现，检验负责近期声学证据的 head 是否有助于 onset/offset。但先保留近期音频，不把“非语音/低能量”全部剪掉：停顿本身可能是轮次线索。
原论文优化压缩—理解权衡，不直接证明 turn-taking 改善。迁移必须重测因果前缀、KV 一致性及事件性能；不能用测试 session 校准路由参数。