評価のソース公式の評価
Mercor APEX-Agents 1.1
Mercor / 専門業務 · 投資銀行、コンサルティング、法務での長いタスクで、モデルがアシスタントとして 1 つの仕事を最後までやり切れるかを見ます。
Karu News での扱い順位に反映
証拠の予算4%
元データの時刻9/8(火) 09:00
直近の同期10/6(火) 02:05
何を、どう測るか
1.1 データセットと公式の Loop 環境を固定し、Pass@1 とその誤差を使います。推論段階は、あらかじめ決めた優先順位で選びます。Mean Score は採点項目の平均達成度で、タスク完了率とは混ぜません。
この証拠の使い方
固定した 1.1 版の公式 Loop の Pass@1 で、ツールと事務の予算のうち 4% を単独で占めます。別の 2% は、統一環境の銀行業務タスクに使います。
評価の成績
固定のルールで、公開モデルごとに代表となる構成を 1 つ採用しています。匿名のテスト用モデルは表示せず、元のランキングの順位を保ち、1 項目につき最大 30 件です。
| 元の順位 | 元の型番 | 元の成績 | 代表の設定 |
|---|---|---|---|
| 1 | gemini-4-argongoogle | 82.2% | High 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 2 | claude-sonnet-5-5anthropic | 75.5% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 3 | claude-opus-5-5Anthropic | 73.5% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 4 | claude-fable-5.1Anthropic | 68.6% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 5 | gemini-3.7-flashGoogle | 67.8% | High 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 6 | claude-opus-5Anthropic | 65.8% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 7 | grok-4-6-xhighxAI | 65.3% | xHigh 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 8 | gpt-6-astra-maxOpenAI | 64.7% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 9 | gemini-3.8-flashGoogle | 64.3% | High 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 10 | claude-fable-5Anthropic | 63.6% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 11 | qwen-3-8-max-xhighAlibaba | 63.3% | xHigh 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 12 | gpt-6-1-solopenai | 60.0% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 14 | mimo-v2.6-proXiaomi | 59.5% | 完全なシステム · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 15 | muse-spark-1-3Meta | 58.6% | xHigh 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 16 | gpt-5.6-terra-maxOpenAI | 58.2% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 17 | glm-5-3Z.ai | 56.6% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 18 | grok-4-5xAI | 56.2% | High 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 19 | deepseek-v4-flashDeepSeek | 55.3% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 20 | gpt-5.5-xhighOpenAI | 55.1% | xHigh 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 21 | grok-4.7xAI | 54.6% | xHigh 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 22 | claude-sonnet-5-maxAnthropic | 54.5% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 23 | gpt-6-solOpenAI | 54.3% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 24 | glm-5-3-flashZ.ai | 52.8% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 26 | responses/gpt-5.4OpenAI | 52.4% | xHigh 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 27 | gpt-5-6-sol-max-proOpenAI | 51.4% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 28 | kimi-k3Moonshot AI | 50.6% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 29 | claude-opus-4-7Anthropic | 49.2% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 30 | claude-opus-4-8Anthropic | 48.9% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 31 | qwen-3-8-27bAlibaba | 47.5% | xHigh 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 32 | deepseek-v4-pro-08-13DeepSeek | 47.3% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
評価の限界と、データの帰属
投資銀行、コンサルティング、法務のタスクに限られます。元のページには型番ごとの評価日がなく、少数の実行が欠けた理由も公開されていません。このスコアを、あらゆる事務作業の信頼性として解釈してはいけません。
データのライセンス:公式が結果を公開しています。データとコードのライセンスは、ランキングの再配布の許諾を意味しません。
成績は Mercor が公表したものです。元のスコアと Karu News の総合スコアは尺度が異なるため、足し合わせられません。