icassp2027-experiment/literature_notes/06_duplexpo.md

Decoupling Conversational Dynamics in Full-Duplex Spoken Models through Reinforcement Learning

• 简称：DuplexPO
• 年份：2026
• 阅读深度：深入阅读
• 官方链接：https://arxiv.org/html/2607.07148

摘要（中文转述）

DuplexPO 把全双工语音模型的内容能力与对话动态策略分开优化。方法围绕轮次开始、backchannel、打断和让出话轮等关键窗口构造训练样本，把连续决策表示成帧级策略，并设计开始时机、反馈、让步和正则等因子化奖励。训练采用带组内归一化和 KL 约束的策略优化，以改善互动时机而尽量保留已有语言能力。

与当前项目的关系

它是“针对 transition 做 RL”最接近的参考，但其奖励依赖智能体动作改变后续交互，而 EasyCom 冻结数据中的未来是外生的。直接在离线固定轨迹上做 RL，容易退化为昂贵的加权分类。若未来建立可交互模拟环境，可借鉴其动态关键窗口；当前更适合先把这些窗口用于监督采样、边界加权和专门评测。