Record speaker-aware AV research and literature

2026-08-30 15:36:28 +08:00
parent 4abbde4f52
commit 348c5c3343
29 changed files with 907 additions and 6 deletions
@@ -0,0 +1,13 @@
+# Multimodal Large Language Models with Fusion Low Rank Adaptation for Device Directed Speech Detection
+
+- 第一作者：Shruti Palaskar；Apple
+- 发表：Interspeech 2024
+- 阅读深度：重点方法、输入与指标章节；未运行
+- 记录日期：2026-08-28
+- 来源：[ISCA 论文](https://www.isca-archive.org/interspeech_2024/palaskar24_interspeech.pdf)、[Apple](https://machinelearning.apple.com/research/llm-fusion-low-rank)
+
+## 摘要与项目关系
+
+FLoRA 通过模态投影、低秩适配及缺失模态处理，让预训练语言模型吸收音视频，判断语音是否对设备发出。使用 BART/T5 系列与私有数据，采用 EER 和固定 false reject rate 下的 false accept rate。
+
+两点可借鉴：固定召回比较误触发有先例；局部特征可以通过训练适配进入模型，不必局限最终拼接。其任务是 utterance-level device-directed detection，不是 wearer onset。当前均值向量虽可训练映射，却不能被声称保留了原生细粒度媒体 token 的全部信息。