• 简体中文

      • Midscene AppControlBench Benchmark 测试报告

      本文是 Midscene 针对 AppControlBench benchmark 的测试报告。本次测试中，每个模型均覆盖同一批 60 个任务，Midscene 取得了如下成绩：

      模型CompletionTime / runCost / runTask outcomes
      Doubao Seed 2.1 Turbo98%52s$0.0099/¥0.0670
      Qwen3.7 Plus97%54s$0.0097/¥0.0657
      DeepSeek V4 Flash Vision Exp90%1m 26s$0.0045/¥0.0308

      注：Doubao Seed 2.1 Turbo 使用火山引擎官方价格计算成本：推理输入 ¥3 / 百万 tokens、缓存命中 ¥0.6 / 百万 tokens、推理输出 ¥15 / 百万 tokens。其他模型成本按 OpenRouter 价格计算，美元按 ¥6.8 / $1 换算。

      可以发现，Midscene + GUI 视觉的路线在成本、通过率上都有很强的竞争力。

      Midscene 与 agent-device iOS 基线各模型及工具组合每 1 美元完成的 case 数，越高越好
      Midscene 不同模型在同一批 60 个 case 上的 Pass@1，越高越好
      关于 AppControlBench

      AppControlBench 用于评估 Agent 操作真实 iOS 应用的能力。每个任务都在隔离的 Simulator 中运行；任务结束后，根据任务专属的目标界面描述对最终截图进行评分。每组运行包含 30 个 Bluesky 任务和 30 个 Element iOS 任务。

      运行配置

      字段值
      测试日期2026-08-25 至 2026-08-27
      Model NameDoubao Seed 2.1 Turbo、Qwen3.7 Plus、DeepSeek V4 Flash Vision Exp
      Midscene 版本1.12.0
      DeepThink关闭
      DeviceiOS Simulator
      Bluesky 版本1.122.0
      Element iOS 版本1.11.40
      任务数每个模型 60 个
      AppControlBench 工程Midscene 适配层把 Agent 执行委托给 @midscene/ios；AppControlBench 继续负责任务重置、Simulator 生命周期、最终截图采集和评分。
      验收规则沿用原有目标状态和 judge 规则；对 1 个 case 的操作意图进行校准。

      Case 意图校准

      本次评测针对固定版本 Element iOS 的实际界面，对 1 个 case 的操作路径描述进行了校准。校准只消除旧版或不存在的 UI 入口描述，不改变 case 的最终目标状态和 judge 规则。

      CaseBeforeAfter变更理由
      element-07Open the "Project Phoenix" room and open its room-options menu (the '...' in the header).Open the "Project Phoenix" room info/options screen.固定版本 Element iOS 不存在 header ... 入口；仅校准操作路径，目标状态和 judge 规则不变。

      报告文件

      Doubao Seed 2.1 Turbo · Pass@1 96.67% · 58 PASS · 1 PARTIAL · 1 FAIL
      #任务状态模型成本报告
      1bsky-01PASS$0.0038/¥0.0259报告
      2bsky-02PASS$0.0038/¥0.0259报告
      3bsky-03PASS$0.0079/¥0.0537报告
      4bsky-04PASS$0.0060/¥0.0405报告
      5bsky-05PASS$0.0039/¥0.0263报告
      6bsky-06PASS$0.0040/¥0.0272报告
      7bsky-07PASS$0.0039/¥0.0268报告
      8bsky-08PASS$0.0130/¥0.0884报告
      9bsky-09PASS$0.0081/¥0.0552报告
      10bsky-10PASS$0.0060/¥0.0410报告
      11bsky-11PASS$0.0038/¥0.0256报告
      12bsky-12PASS$0.0038/¥0.0258报告
      13bsky-13PASS$0.0038/¥0.0259报告
      14bsky-14PASS$0.0104/¥0.0704报告
      15bsky-15PASS$0.0104/¥0.0706报告
      16bsky-16PASS$0.0240/¥0.1631报告
      17bsky-17PASS$0.0059/¥0.0399报告
      18bsky-18PASS$0.0038/¥0.0255报告
      19bsky-19PASS$0.0080/¥0.0545报告
      20bsky-20PASS$0.0080/¥0.0547报告
      21bsky-21PASS$0.0059/¥0.0399报告
      22bsky-22PASS$0.0037/¥0.0254报告
      23bsky-23PASS$0.0058/¥0.0394报告
      24bsky-24PASS$0.0082/¥0.0554报告
      25bsky-25FAIL$0.0079/¥0.0535报告
      26bsky-26PASS$0.0152/¥0.1030报告
      27bsky-27PASS$0.0174/¥0.1183报告
      28bsky-28PASS$0.0080/¥0.0542报告
      29bsky-29PASS$0.0080/¥0.0541报告
      30bsky-30PASS$0.0106/¥0.0723报告
      31element-01PASS$0.0037/¥0.0252报告
      32element-02PASS$0.0038/¥0.0259报告
      33element-03PASS$0.0101/¥0.0686报告
      34element-04PASS$0.0057/¥0.0390报告
      35element-05PASS$0.0066/¥0.0447报告
      36element-06PARTIAL$0.0988/¥0.6720报告
      37element-07PASS$0.0059/¥0.0400报告
      38element-08PASS$0.0103/¥0.0700报告
      39element-09PASS$0.0040/¥0.0275报告
      40element-10PASS$0.0187/¥0.1272报告
      41element-11PASS$0.0068/¥0.0460报告
      42element-12PASS$0.0059/¥0.0404报告
      43element-13PASS$0.0106/¥0.0724报告
      44element-14PASS$0.0060/¥0.0410报告
      45element-15PASS$0.0081/¥0.0554报告
      46element-16PASS$0.0083/¥0.0567报告
      47element-17PASS$0.0080/¥0.0543报告
      48element-18PASS$0.0105/¥0.0714报告
      49element-19PASS$0.0182/¥0.1240报告
      50element-20PASS$0.0038/¥0.0256报告
      51element-21PASS$0.0119/¥0.0810报告
      52element-22PASS$0.0156/¥0.1062报告
      53element-23PASS$0.0081/¥0.0550报告
      54element-24PASS$0.0129/¥0.0880报告
      55element-25PASS$0.0059/¥0.0404报告
      56element-26PASS$0.0038/¥0.0257报告
      57element-27PASS$0.0160/¥0.1087报告
      58element-28PASS$0.0100/¥0.0683报告
      59element-29PASS$0.0102/¥0.0693报告
      60element-30PASS$0.0100/¥0.0680报告
      Qwen3.7 Plus · Pass@1 93.33% · 56 PASS · 4 PARTIAL · 0 FAIL
      #任务状态模型成本报告
      1bsky-01PASS$0.0073/¥0.0497报告
      2bsky-02PASS$0.0074/¥0.0501报告
      3bsky-03PASS$0.0108/¥0.0736报告
      4bsky-04PASS$0.0092/¥0.0624报告
      5bsky-05PASS$0.0053/¥0.0362报告
      6bsky-06PASS$0.0075/¥0.0507报告
      7bsky-07PASS$0.0075/¥0.0507报告
      8bsky-08PASS$0.0170/¥0.1155报告
      9bsky-09PASS$0.0110/¥0.0746报告
      10bsky-10PASS$0.0111/¥0.0756报告
      11bsky-11PASS$0.0053/¥0.0360报告
      12bsky-12PASS$0.0053/¥0.0357报告
      13bsky-13PASS$0.0054/¥0.0365报告
      14bsky-14PASS$0.0086/¥0.0585报告
      15bsky-15PASS$0.0107/¥0.0724报告
      16bsky-16PARTIAL$0.0196/¥0.1332报告
      17bsky-17PASS$0.0050/¥0.0342报告
      18bsky-18PASS$0.0033/¥0.0224报告
      19bsky-19PASS$0.0067/¥0.0457报告
      20bsky-20PASS$0.0068/¥0.0460报告
      21bsky-21PASS$0.0049/¥0.0335报告
      22bsky-22PASS$0.0032/¥0.0219报告
      23bsky-23PASS$0.0050/¥0.0340报告
      24bsky-24PASS$0.0069/¥0.0469报告
      25bsky-25PARTIAL$0.0068/¥0.0463报告
      26bsky-26PASS$0.0125/¥0.0849报告
      27bsky-27PASS$0.0145/¥0.0988报告
      28bsky-28PASS$0.0068/¥0.0461报告
      29bsky-29PASS$0.0068/¥0.0462报告
      30bsky-30PASS$0.0171/¥0.1160报告
      31element-01PASS$0.0052/¥0.0356报告
      32element-02PASS$0.0032/¥0.0214报告
      33element-03PASS$0.0087/¥0.0593报告
      34element-04PASS$0.0048/¥0.0326报告
      35element-05PASS$0.0107/¥0.0727报告
      36element-06PARTIAL$0.0640/¥0.4355报告
      37element-07PASS$0.0088/¥0.0600报告
      38element-08PASS$0.0086/¥0.0582报告
      39element-09PASS$0.0032/¥0.0217报告
      40element-10PASS$0.0234/¥0.1593报告
      41element-11PASS$0.0050/¥0.0341报告
      42element-12PASS$0.0050/¥0.0338报告
      43element-13PASS$0.0070/¥0.0474报告
      44element-14PASS$0.0051/¥0.0345报告
      45element-15PASS$0.0068/¥0.0461报告
      46element-16PARTIAL$0.0346/¥0.2352报告
      47element-17PASS$0.0206/¥0.1403报告
      48element-18PASS$0.0112/¥0.0761报告
      49element-19PASS$0.0108/¥0.0738报告
      50element-20PASS$0.0032/¥0.0219报告
      51element-21PASS$0.0033/¥0.0222报告
      52element-22PASS$0.0128/¥0.0872报告
      53element-23PASS$0.0069/¥0.0466报告
      54element-24PASS$0.0109/¥0.0739报告
      55element-25PASS$0.0050/¥0.0341报告
      56element-26PASS$0.0033/¥0.0224报告
      57element-27PASS$0.0051/¥0.0344报告
      58element-28PASS$0.0106/¥0.0723报告
      59element-29PASS$0.0087/¥0.0588报告
      60element-30PASS$0.0087/¥0.0590报告
      DeepSeek V4 Flash Vision Exp · Pass@1 86.67% · 52 PASS · 4 PARTIAL · 4 FAIL
      #任务状态模型成本报告
      1bsky-01PASS$0.0005/¥0.0035报告
      2bsky-02PASS$0.0005/¥0.0035报告
      3bsky-03PASS$0.0015/¥0.0100报告
      4bsky-04PASS$0.0009/¥0.0062报告
      5bsky-05PASS$0.0005/¥0.0037报告
      6bsky-06PASS$0.0021/¥0.0144报告
      7bsky-07PASS$0.0010/¥0.0066报告
      8bsky-08PASS$0.0019/¥0.0128报告
      9bsky-09FAIL$0.0155/¥0.1055报告
      10bsky-10PASS$0.0018/¥0.0121报告
      11bsky-11PASS$0.0011/¥0.0077报告
      12bsky-12PASS$0.0011/¥0.0073报告
      13bsky-13PASS$0.0012/¥0.0082报告
      14bsky-14PASS$0.0029/¥0.0200报告
      15bsky-15PASS$0.0012/¥0.0081报告
      16bsky-16PARTIAL$0.0160/¥0.1085报告
      17bsky-17PASS$0.0017/¥0.0114报告
      18bsky-18PASS$0.0011/¥0.0078报告
      19bsky-19PASS$0.0025/¥0.0168报告
      20bsky-20PASS$0.0022/¥0.0152报告
      21bsky-21PASS$0.0023/¥0.0156报告
      22bsky-22PASS$0.0011/¥0.0074报告
      23bsky-23PASS$0.0017/¥0.0119报告
      24bsky-24PARTIAL$0.0072/¥0.0493报告
      25bsky-25PASS$0.0029/¥0.0199报告
      26bsky-26PASS$0.0025/¥0.0171报告
      27bsky-27PASS$0.0034/¥0.0231报告
      28bsky-28PASS$0.0023/¥0.0157报告
      29bsky-29PASS$0.0023/¥0.0159报告
      30bsky-30FAIL$0.0290/¥0.1970报告
      31element-01PASS$0.0010/¥0.0069报告
      32element-02PASS$0.0010/¥0.0071报告
      33element-03PASS$0.0030/¥0.0201报告
      34element-04PASS$0.0038/¥0.0256报告
      35element-05PASS$0.0018/¥0.0122报告
      36element-06FAIL$0.0232/¥0.1575报告
      37element-07PASS$0.0019/¥0.0127报告
      38element-08PASS$0.0028/¥0.0193报告
      39element-09PASS$0.0011/¥0.0077报告
      40element-10PASS$0.0024/¥0.0161报告
      41element-11PASS$0.0019/¥0.0131报告
      42element-12PASS$0.0019/¥0.0130报告
      43element-13PASS$0.0026/¥0.0176报告
      44element-14PASS$0.0020/¥0.0139报告
      45element-15PASS$0.0010/¥0.0067报告
      46element-16PARTIAL$0.0549/¥0.3734报告
      47element-17PASS$0.0026/¥0.0178报告
      48element-18PASS$0.0027/¥0.0182报告
      49element-19PARTIAL$0.0106/¥0.0723报告
      50element-20PASS$0.0011/¥0.0075报告
      51element-21FAIL$0.0236/¥0.1604报告
      52element-22PASS$0.0024/¥0.0160报告
      53element-23PASS$0.0014/¥0.0094报告
      54element-24PASS$0.0020/¥0.0138报告
      55element-25PASS$0.0009/¥0.0059报告
      56element-26PASS$0.0006/¥0.0039报告
      57element-27PASS$0.0010/¥0.0065报告
      58element-28PASS$0.0016/¥0.0107报告
      59element-29PASS$0.0016/¥0.0107报告
      60element-30PASS$0.0016/¥0.0107报告