Omni-Embed-Mini：密集蒸馏绑定模态
在冻结文本侧权重下对齐文本、语音、音频、图像、视频和文档嵌入。
为什么重要
为多模态检索提供了较小规模且避免文本检索退化的实现路线。
阅读原文arxiv.org
AI 解读（根据原文生成）
论文提出 Omni-Embed-Mini，一个 0.9B 参数的全模态嵌入模型，将文本、语音、音频、图像、视频和视觉丰富文档映射到共享余弦空间，同时不更新任何文本侧参数。方法用媒体样本的密集级联字幕作为教师信号，并以冻结骨干对字幕的嵌入作为目标，结合轻量投影器、分阶段 LoRA、Matryoshka SigLIP 对比损失和在线混合 hard-negative miner。作者称模型、代码、数据和评测工具已在项目页提供。
要点（AI 据原文整理，数字均已与原文核对）
- It maps text, speech, audio, images, video, and visually-rich documents into a single shared cosine space.
- The recipe carries over to a 2.3B variant by swapping in a native vision-language backbone.
