53 lines
4.0 KiB
Markdown
53 lines
4.0 KiB
Markdown
|
# ICASSP 2027 文献笔记
|
||
|
|
|
||
|
|
本目录持久化记录我们在本项目讨论中实际阅读、分析或筛选过的论文。这里的“摘要”均为面向当前课题的中文转述，不是原文摘要的复制。
|
||
|
|
|
||
|
|
最后更新：2026-08-26
|
||
|
|
|
||
|
|
## 阅读深度
|
||
|
|
|
||
|
|
- 深入阅读：检查过方法、实验或附录，可用于设计实验和论证。
|
||
|
|
- 重点章节阅读：阅读过与当前问题直接相关的方法或实验部分。
|
||
|
|
- 摘要级筛选：主要依据摘要和论文主页判断相关性，只适合作为候选线索。
|
||
|
|
|
||
|
|
## 论文索引
|
||
|
|
|
||
|
|
| 编号 | 论文 | 年份 | 阅读深度 | 与当前项目的主要关系 |
|
||
|
|
|---|---|---:|---|---|
|
||
|
|
| 01 | [Qwen2.5-Omni Technical Report](01_qwen2_5_omni.md) | 2025 | 深入阅读 | 原生流式多模态语义与 Thinker 状态 |
|
||
|
|
| 02 | [EgoSpeak](02_egospeak.md) | 2025 | 深入阅读 | 任务定义、数据划分、标签和评测协议 |
|
||
|
|
| 03 | [Long Short-Term Transformer for Online Action Detection](03_lstr.md) | 2021 | 重点章节阅读 | 在线时序建模与 LSTR-MCE 基线 |
|
||
|
|
| 04 | [MiniROAD](04_miniroad.md) | 2023 | 重点章节阅读 | 在线检测、时间步损失与高效递归建模 |
|
||
|
|
| 05 | [ROMA](05_roma.md) | 2026 | 深入阅读 | 流式 AV 单元、持久 KV、Speak Head、末层融合 |
|
||
|
|
| 06 | [DuplexPO](06_duplexpo.md) | 2026 | 深入阅读 | 对话动态关键窗口和强化学习 |
|
||
|
|
| 07 | [ASPIRin](07_aspirin.md) | 2026 | 深入阅读 | 将 RL 动作空间投影到 active/inactive |
|
||
|
|
| 08 | [SoulX-Duplug](08_soulx_duplug.md) | 2026 | 深入阅读 | 显式流式状态预测和低延迟监督学习 |
|
||
|
|
| 09 | [SALMONN-omni](09_salmonn_omni.md) | 2025 | 重点章节阅读 | 全双工对话、DPO 与策略训练稳定性 |
|
||
|
|
| 10 | [Tempo-R0](10_tempo_r0.md) | 2025 | 重点章节阅读 | 可验证的时间定位奖励和 GRPO |
|
||
|
|
| 11 | [VideoTG-R1](11_videotg_r1.md) | 2025 | 重点章节阅读 | 边界反思、样本筛选与课程 RL |
|
||
|
|
| 12 | [TAR-TVG](12_tar_tvg.md) | 2025 | 摘要级筛选 | 时间戳锚点和分阶段时序推理训练 |
|
||
|
|
| 13 | [Video-R2](13_video_r2.md) | 2025 | 摘要级筛选 | 时间对齐奖励与视频推理一致性 |
|
||
|
|
| 14 | [Prompt-Guided Turn-Taking Prediction](14_prompt_guided_turn_taking.md) | 2025 | 摘要级筛选 | 可控式轮次预测 |
|
||
|
|
| 15 | [Multilingual Turn-taking Prediction Using VAP](15_multilingual_vap.md) | 2024 | 摘要级筛选 | VAP、跨语言轮次线索与泛化 |
|
||
|
|
| 16 | [Predicting Turn-Taking and Backchannel](16_multimodal_turn_taking_backchannel.md) | 2025 | 摘要级筛选 | 多模态轮次与 backchannel 分类 |
|
||
|
|
| 17 | [Action Sensitivity Learning](17_action_sensitivity_learning.md) | 2023 | 摘要级筛选 | 边界敏感重加权，作为 RL 的低风险替代 |
|
||
|
|
| 18 | [LLM-Enhanced Dialogue Management](18_llm_enhanced_dialogue_management.md) | 2025/2026 | 摘要级筛选 | 模块化流式对话控制状态 |
|
||
|
|
| 19 | [Aligning Spoken Dialogue Models from User Interactions](19_aligning_spoken_dialogue_from_interactions.md) | 2025 | 摘要级筛选 | 从用户交互构造偏好数据 |
|
||
|
|
| 20 | [Optimizing Conversational Quality with RLAIF](20_spoken_dialogue_rlaif.md) | 2026 | 摘要级筛选 | 块级语音生成与多奖励偏好优化 |
|
||
|
|
|
||
|
|
## 当前综合判断
|
||
|
|
|
||
|
|
对本项目最直接的主线不是立即把三分类预测改成通用 RL，而是：
|
||
|
|
|
||
|
|
1. 以 Qwen2.5-Omni 原生流式语义和 EgoSpeak 协议为任务基础。
|
||
|
|
2. 从 ROMA 借鉴末层聚合、时机与内容解耦以及独立决策头。
|
||
|
|
3. 先用 SoulX-Duplug、Action Sensitivity Learning 一类监督式状态或边界强化建立可靠增益。
|
||
|
|
4. 若转向交互式闭环训练，再借鉴 DuplexPO 的动态关键窗口和 ASPIRin 的低维动作空间，避免对语义表示进行不受约束的 RL。
|
||
|
|
|
||
|
|
## 维护约定
|
||
|
|
|
||
|
|
- 新增论文时，创建独立 Markdown 文件，并在本索引登记阅读深度。
|
||
|
|
- 若后来深入阅读过一篇摘要级论文，更新其阅读深度、方法细节和实验结论。
|
||
|
|
- 实验设计引用具体数值前，应再次核对论文正文、版本和官方实现。
|
||
|
|
|