OmniReasoning：音视频联合推理
提出需音频与视觉证据共同参与的评测、数据引擎和训练方法。
为什么重要
为研究音视频联合推理提供了评测、数据构造和训练方法参考。
阅读原文arxiv.org
AI 解读（根据原文生成）
论文针对现有全模态模型中音视频联合推理评测和训练不足的问题，提出 OmniReasoningBench、数据引擎 OmniQA 和学习方法 MFSD。OmniReasoningBench 要求音频与视觉证据缺一不可，覆盖视频内推理和视频外推理；OmniQA 自动构造带证据和时间戳线索链的问答，并生成 SFT 与 RL 训练数据。结合数据和方法训练的 OmniReasoning-30B-A3B 在相关基准上优于其基础模型。论文、代码和项目页已给出链接。
要点（AI 据原文整理，数字均已与原文核对）
- OmniReasoningBench comprises 1,150 multiple-choice and open-ended questions across two tasks.
- OmniQA produces training data OmniReasoning-SFT-112K and OmniReasoning-RL-19K.
- OmniReasoning-30B-A3B achieves 50.0% on OmniVideoBench and 42.5% on OmniReasoningBench.
- The method MFSD evaluates each sampled response under modality-specific clue contexts for token-level credit assignment.
