15 lines
957 B
Markdown
15 lines
957 B
Markdown
# SoulX-Duplug: Plug-and-Play Streaming State Prediction Module for Realtime Full-Duplex Speech Conversation
|
|
|
|
- 年份：2026
|
|
- 阅读深度：深入阅读
|
|
- 官方链接：https://arxiv.org/html/2603.14877
|
|
|
|
## 摘要（中文转述）
|
|
|
|
SoulX-Duplug 提出可插拔的流式状态预测模块，以短音频块持续输入，把语音识别信息与对话状态 token 交错建模。训练联合优化 ASR 和状态预测，并采用分阶段训练减少任务冲突。系统强调低延迟状态决策，可在不重建整个对话模型的情况下提供倾听、回应或打断控制信号。
|
|
|
|
## 与当前项目的关系
|
|
|
|
这篇工作支持先做显式状态和转换监督，而不是立刻使用 RL。可在现有 5 Hz 头上增加辅助任务：当前状态、是否发生转换、距离下一次转换的时间，或者 wearer/others 的 onset 与 offset。若辅助监督能稳定改善临界窗口，再考虑把同一小头转成策略优化。
|
|
|