本文へ移動
10/7(水) 13:08
あとで読む
評価のソース

EBR-bench

Epoch AI / 専門業務 · 長いタスクで新しいルールを学び、記憶を使う

公式の評価
Karu News での扱い参考のみ
証拠の予算点数に使いません
元データの時刻9/30(水) 03:13
直近の同期10/7(水) 08:05

何を、どう測るか

公開の集計は、記憶圧縮の構成が混ざっています。固定した構成の比較できる成績が得られるまでは、参考にとどめます。

この証拠の使い方

参考のみで、総合と分類のスコアには入れません。

評価の成績

固定のルールで、公開モデルごとに代表となる構成を 1 つ採用しています。匿名のテスト用モデルは表示せず、元のランキングの順位を保ち、1 項目につき最大 30 件です。

元の順位元の型番元の成績代表の設定
1gpt-6-astra_maxOpenAI76.2%Max 推論
2claude-opus-5-5_maxAnthropic71.4%Max 推論
3claude-fable-5-1_maxAnthropic57.1%Max 推論
4gpt-6.1-sol_maxopenai54.3%Max 推論
5gpt-6-sol_maxOpenAI53.3%Max 推論
6claude-opus-5_maxAnthropic45.7%Max 推論
7gpt-5.6-sol_maxOpenAI44.8%Max 推論
8claude-fable-5_maxAnthropic39.5%Max 推論
9gpt-5.5_xhighOpenAI34.3%xHigh 推論
10grok-4.6_xhighxAI30.5%xHigh 推論
11claude-opus-4-8_maxAnthropic28.6%Max 推論
12gpt-5.4-2026-03-05_xhighOpenAI25.4%xHigh 推論
13gpt-5.2-2025-12-11_xhighOpenAI23.0%xHigh 推論
14claude-opus-4-7_maxAnthropic19.0%Max 推論
15gemini-3.1-pro-previewGoogle14.3%出典のデフォルト構成
15claude-opus-4-5-20251101_128KAnthropic14.3%出典のデフォルト構成 · 128k
17claude-opus-4-6_maxAnthropic12.7%Max 推論
17gpt-5-2025-08-07_highOpenAI12.7%High 推論
19qwen3.7-maxAlibaba9.5%出典のデフォルト構成
19glm-5.2_maxZ.ai9.5%Max 推論
21claude-opus-4-1-20250805Anthropic7.9%出典のデフォルト構成
22gemini-3.5-flash_highGoogle4.8%High 推論
23kimi-k2.6Moonshot AI2.4%出典のデフォルト構成
23claude-sonnet-4-5-20250929Anthropic2.4%出典のデフォルト構成
評価の限界と、データの帰属

参考のみで、総合と分類のスコアには入れません。

データのライセンス:CC BY 4.0 · Epoch AI が自ら評価したデータです。

成績は Epoch AI が公表したものです。元のスコアと Karu News の総合スコアは尺度が異なるため、足し合わせられません。