1.2 KiB
1.2 KiB
ThinkOmni: Lifting Textual Reasoning to Omni-modal Scenarios via Guidance Decoding
- 作者：Yiran Guan 等
- 会议：ICLR 2026（已核查官方 poster 条目）
- 阅读深度：重点章节阅读（§3 方法与实验设置）；未复现
- 记录日期：2026-08-28
- 来源：ICLR 条目、论文正文
摘要（中文转述）
ThinkOmni 将现成文本推理模型作为 Omni 解码的指导者，不微调 Omni 参数。它在共同文本前缀上对比指导模型与 Omni 文本路径，再结合完整多模态路径，并动态平衡感知与推理信号。实验包含 Qwen2.5-Omni-3B/7B。
本项目的启发与边界
这是“冻结 Omni 也能改变其推理行为”的直接例子，但不是插入局部特征的免费解决方案：需额外模型、兼容词表/解码和计算预算。其输出目标是文本推理，不是我们的未来活动 head；若只读取状态向量，不能原样迁移词表混合公式。
优先级低于近期证据读出与逐人输入。可用固定结构化问答检验模型是否识别讲话关系，但推理说明不是社会决策的真值。