disrouter.aiAI 情报台

disrouter.aiAI 情报台

论文arXiv cs.AI

SCRouter:安全条件化 LLM 路由

按查询安全需求联合选择模型与输出 token 预算。

为什么重要

为混合负载下的 LLM 服务路由提供了安全与成本权衡方法。

阅读原文arxiv.org

AI 解读(根据原文生成)

论文提出 SCRouter,用于大语言模型路由中的模型与预算选择。现有路由器通常用单一质量指标排序模型-预算动作,难以同时适配普通查询的 utility 和安全敏感查询的 security。SCRouter 为每个模型-预算组合估计响应能否在预算内完成的概率,并分别预测 utility 与 security,再用小型 probe 为每个查询决定两者权重,最终在质量与成本之间选择模型和预算。作者还构建 SCRouterBench,覆盖 utility 与 security 查询及域外查询。论文已在 arXiv 发布,许可为 CC BY 4.0。

要点(AI 据原文整理,数字均已与原文核对)

  • Each SCRouterBench query is answered under all 144 combinations of 12 models and 12 budgets.
  • SCRouter improves the baselines by 13-29 points in-domain and 19-23 points out-of-domain.

全部来源(1)

  1. [1]arXiv cs.AI(人工智能)

    SCRouter:安全条件化 LLM 路由