14 lines
1.0 KiB
Markdown
14 lines
1.0 KiB
Markdown
|
# Multimodal Large Language Models with Fusion Low Rank Adaptation for Device Directed Speech Detection
|
|||
|
|
|
|||
|
|
- 第一作者：Shruti Palaskar；Apple
|
|||
|
|
- 发表：Interspeech 2024
|
|||
|
|
- 阅读深度：重点方法、输入与指标章节；未运行
|
|||
|
|
- 记录日期：2026-08-28
|
|||
|
|
- 来源：[ISCA 论文](https://www.isca-archive.org/interspeech_2024/palaskar24_interspeech.pdf)、[Apple](https://machinelearning.apple.com/research/llm-fusion-low-rank)
|
|||
|
|
|
|||
|
|
## 摘要与项目关系
|
|||
|
|
|
|||
|
|
FLoRA 通过模态投影、低秩适配及缺失模态处理，让预训练语言模型吸收音视频，判断语音是否对设备发出。使用 BART/T5 系列与私有数据，采用 EER 和固定 false reject rate 下的 false accept rate。
|
|||
|
|
|
|||
|
|
两点可借鉴：固定召回比较误触发有先例；局部特征可以通过训练适配进入模型，不必局限最终拼接。其任务是 utterance-level device-directed detection，不是 wearer onset。当前均值向量虽可训练映射，却不能被声称保留了原生细粒度媒体 token 的全部信息。
|