Add transition-aware R1 and R2 objectives

2026-08-26 17:18:50 +08:00
parent 0590df1e88
commit 5923b89d60
27 changed files with 979 additions and 22 deletions
@@ -0,0 +1,14 @@
+# Multilingual Turn-taking Prediction Using Voice Activity Projection
+
+- 会议：LREC-COLING 2024
+- 阅读深度：摘要级筛选
+- 官方链接：https://aclanthology.org/2024.lrec-main.1036/
+
+## 摘要（中文转述）
+
+该论文研究 Voice Activity Projection 在英语、普通话和日语对话中的跨语言能力，比较单语和多语训练，并分析音高等声学线索对轮次预测的影响。结果表明，多语言训练可以获得接近单语言模型的表现，说明部分轮次线索具有跨语言共享性。
+
+## 与当前项目的关系
+
+它提醒我们 EasyCom/Ego4D 上的提升可能来自可迁移的韵律线索，而不仅是视觉或语义上下文。未来可将 Qwen 隐状态与轻量 pitch、energy、VAD 特征做受控融合，检验冻结大模型是否丢失了对 transition 最敏感的低层声学信息。
+