13 lines
941 B
Markdown
13 lines
941 B
Markdown
# Multimodal Voice Activity Projection for Turn-Taking in Social Robots with Voice-Activity-Related Pretrained Encoders
|
|
|
|
- 状态：2026 预印本；作者声明 RO-MAN 2026 已接收，正式版本待发表
|
|
- 阅读深度：重点编码器、LoRA、输入窗口和局限章节
|
|
- 记录日期：2026-08-28
|
|
- 来源：[论文](https://arxiv.org/html/2607.07294)、[发表状态](https://arxiv.org/abs/2607.07294)
|
|
|
|
## 摘要与项目关系
|
|
|
|
把 TalkNet、Whisper-Flamingo 等与发声相关的 AV 骨干通过 LoRA 适配到双人 VAP，再加入跨人关系建模。为“专门 AV 表征＋参数高效预测适配”提供直接候选。
|
|
|
|
不能直接采信为我们的因果基线：方法写到以 t 为中心的输入窗口和逐人信号，且承认尚未实时验证。迁移必须重新限定过去窗口、输入音源和输出可用时间，再报告结果。论文较高离线分数不证明可在相同真实提前量下复现。
|