OPENLAB / AGENT BENCH

同一道题，
看看谁真正做到了。

给不同 Agent 同一份任务，用交付物和验收结果比较能力。

编排预览

可生成、下载统一任务包。
自动下发与成果回收尚未接通，不会调用模型。

  1. 01 定义同一道题
  2. 02 选择参与者
  3. 03 独立执行 待接入
  4. 04 验收与比较 待接入
01

定义统一任务

材料、条件和验收项都进入同一个任务包。

正式比较需冻结文件内容与版本；只填网址不能保证每位 Agent 读到同样材料。

比较条件与预算计划

这里只生成计划，不预留或提高任何服务额度。实际执行仍须通过各项目预算、权限及资源预检。

02

谁来解这道题？

至少选择两个；可以选择多个。

候选 ≠ 已验证支持

这里按接入方案筛选参与者。各框架还需要统一适配器和独立工作区，才能接收同一任务。

多选，独立完成。

当前云主机计划先按队列逐个执行，保护现有实验。排队时间与实际执行时间分别记录。

03—04

最终比较的，应该是这些

下面是结果布局预览，尚无真实执行数据。

所选 Agent 的待执行比较项

先验收，再谈好坏

能否运行、计算是否正确、来源能否复查。报告写得长不等于任务完成得好。

把帮助与代价算进去

展示模型费用、等待时间、人工批准和修正次数。未知费用不记为零。

保留失败，不预设赢家

每次重试与失败都有记录；单次结果只说明这道题，不代表普遍能力排名。