15 lines
859 B
Markdown
15 lines
859 B
Markdown
# Multilingual Turn-taking Prediction Using Voice Activity Projection
|
|
|
|
- 会议：LREC-COLING 2024
|
|
- 阅读深度：摘要级筛选
|
|
- 官方链接：https://aclanthology.org/2024.lrec-main.1036/
|
|
|
|
## 摘要（中文转述）
|
|
|
|
该论文研究 Voice Activity Projection 在英语、普通话和日语对话中的跨语言能力，比较单语和多语训练，并分析音高等声学线索对轮次预测的影响。结果表明，多语言训练可以获得接近单语言模型的表现，说明部分轮次线索具有跨语言共享性。
|
|
|
|
## 与当前项目的关系
|
|
|
|
它提醒我们 EasyCom/Ego4D 上的提升可能来自可迁移的韵律线索，而不仅是视觉或语义上下文。未来可将 Qwen 隐状态与轻量 pitch、energy、VAD 特征做受控融合，检验冻结大模型是否丢失了对 transition 最敏感的低层声学信息。
|
|
|