新版 Artificial Analysis 指数拉大开放与封闭模型差距
新版指数以 60% 私有测试集抑制“benchmaxxing”,并改写模型排名。
过去 24 小时 0 条 AI 动态;近 7 天论文 0 篇、模型 0 个、数据集 0 个、开源项目 0 个。正在追踪 29 个 AI 信源,数据更新于 10月30日 23:00。
新版指数以 60% 私有测试集抑制“benchmaxxing”,并改写模型排名。
用VLM Agent闭环和轨迹打分提升机器人操作泛化。
InnovationEval测试AI Agent自主改进语言模型训练方法的能力。
评测从视频生成扩展到在线强化学习与真实机器人操作。
代码智能体框架结合模型在真实工程修复评测中取得71%解决率。
用93个真实论文复现任务端到端评测科研Agent。
Aleph Alpha 用自建基准测试多家中文模型的政治敏感回答。
ThinkingBox用后端终态和副作用评测Agent是否真正完成任务。
Image-to-Code 让编码代理迭代生成 Blender 场景代码。
Mercor研究显示模型在结构化记账任务上几乎无差错,但官方APEX基准中无一模型完整解出近60%的任务。
免费 Coding Agent 被用于多芯片大模型推理算子优化。
用客观指标扩展评测开源多语种TTS和声音克隆模型。