OmniCapBench 音视频描述评测框架
将音视频描述评测拆为原子可验证单元，支持细粒度诊断。
为什么重要
为开发者定位 MLLM 音视频感知与长程推理错误提供细粒度评测工具。
阅读原文arxiv.org
AI 解读（根据原文生成）
论文提出 OmniCapBench（Omni-Video Caption Benchmark），面向多模态大语言模型的音视频描述能力评估。它将预测目标从自由文本改为三类原子、可验证的评估单元：实体引用、视觉镜头和音频事件，并结合确定性约束检查与局部 LLM 语义比较进行可靠评分。该基准包含 786 个密集标注视频，可区分时间定位失败、身份漂移、跨模态错配和幻觉描述等错误。论文已在 arXiv 发布，并提供项目页。
要点（AI 据原文整理，数字均已与原文核对）
- OmniCapBench shifts the prediction target from free-form text to sets of atomic, verifiable evaluation units across three tracks: entity references, visual shots, and audio events.
- With 786 densely annotated videos, OmniCapBench effectively distinguishes MLLM perception errors.
- Evaluating frontier MLLMs reveals strong local perception but weak long-horizon audio--visual reasoning.
