Youtu-Parsing-Omni 全模态解析模型
用单一模型将文档、图像、音频和视频解析为结构化 JSON。
为什么重要
为多模态内容解析提供了可部署的统一 JSON 输出方案。
阅读原文huggingface.co
AI 解读（根据原文生成）
Youtu-Parsing-Omni 是一个约 5B 的全模态解析模型，可处理文档页、自然图像、图表、流程图、几何图形、音频片段和音视频，输出统一的结构化 JSON，覆盖版面、文本、表格、公式、边界框、时间戳、ASR、OCR、声学事件、镜头运动以及描述性报告。模型权重、vLLM 插件和推理示例已发布，可在 Hugging Face 与 GitHub 获取。
要点（AI 据原文整理，数字均已与原文核对）
- Technical report, model weights, vLLM plugin and inference examples released.
- Unified schema – one JSON envelope for seven parsing families, driven by the task prompt.
- Omni encoder – image, audio and interleaved audio-visual video inputs (frames + audio track) in a single model.
- State-of-the-art on OmniDocBench v1.6 (96.96 Overall).
- Best open-weight model on OmniParsingBench (75.08 Avg., second only to Gemini-3-Pro).
- Competitive with specialized models on chemical-structure (ChemOCR) and music-score (PDMX-Synth) recognition.
