969 B
969 B
ASPIRin: Action Space Projection for Interactivity-Optimized Reinforcement Learning in Full-Duplex Speech Language Models
- 年份：2026
- 阅读深度：深入阅读
- 官方链接：https://arxiv.org/html/2604.10065
摘要（中文转述）
ASPIRin 观察到，直接在完整语音 token 空间中用 GRPO 优化响应速度，会让模型利用奖励漏洞，出现重复或语义崩坏。它把庞大的生成动作空间投影为 active/inactive 两类互动状态，仅在这一低维空间优化打断和延迟等规则奖励，从而把“何时响应”与“说什么”部分解耦。
与当前项目的关系
如果本项目以后采用 RL，最安全的方案不是更新 Qwen Thinker 表示或完整内容头，而是冻结编码器和内容预测，只优化 transition/no-transition 或 speak/listen 的小策略头。当前三标签任务还应保留监督主损失，并用 KL 或参数冻结防止为了边界奖励牺牲整体 AP。