15 lines
876 B
Markdown
15 lines
876 B
Markdown
|
# SALMONN-omni: A Standalone Speech LLM without Codec Injection for Full-duplex Conversation
|
||
|
|
|
||
|
|
- 年份：2025
|
||
|
|
- 阅读深度：重点章节阅读
|
||
|
|
- 官方链接：https://arxiv.org/html/2505.17060
|
||
|
|
|
||
|
|
## 摘要（中文转述）
|
||
|
|
|
||
|
|
SALMONN-omni 构建不依赖外部 codec 注入的全双工语音语言模型，包含流式语音编码、动态思考和流式合成组件。论文针对打断和 backchannel 使用偏好优化来改善交互行为，同时保留语音理解和生成能力。
|
||
|
|
|
||
|
|
## 与当前项目的关系
|
||
|
|
|
||
|
|
其 DPO 实验说明对话转换策略可以被偏好学习调整，但训练过程可能明显不稳定：中间阶段的综合指标可能先大幅下降再恢复。因此，如果本项目做 transition 偏好优化，必须同时记录全时距 mAP、三类 AP、转换窗口指标和非转换区误报，不能只报告 onset 延迟或单一奖励。
|
||
|
|
|