Cloudflare/clef-omni 模型
用联合 schema 头把多模态状态转为选项概率而非自由文本。
为什么重要
为需要结构化多模态决策的应用提供可直接下载的模型卡与实现文件。
阅读原文huggingface.co
AI 解读（根据原文生成）
Cloudflare/clef-omni 是一个 30B-A3B 混合专家多模态模型，基于 Qwen/Qwen3-Omni-30B-A3B-Instruct 后训练。它读取文本、JSON、图像、音频或视频形式的状态，以及带类型问题的 schema，在单次前向中为每个问题的每个允许选项输出概率，不进行自由文本生成或输出解析。模型包含视觉和音频编码器、joint schema head，并提供 joint_schema_model.py 等文件；许可证为 apache-2.0，可在 Hugging Face 获取且无需申请访问。
要点（AI 据原文整理，数字均已与原文核对）
- Task: image-text-to-text.
- Library: transformers.
- It reads the state as text, JSON, images, audio, or video, and returns a probability for every allowed option of every question in a single forward pass.
- Tested with `torch` 2.11 and `transformers` 5.10.2 on a single H200; the backbone needs about 64 GB of GPU memory in bfloat16.
- Image inputs also need `pillow`, and audio and video files need `av`.
