評価のソース公式の評価
LiveBench Global Average
LiveBench · 問題を入れ替え続け、答えは自動で照合できます。問題が変わってもモデルが崩れないかを見ます。
Karu News での扱い他の評価と照合
証拠の予算点数に使いません
元データの時刻9/30（水） 04:01
直近の同期10/7（水） 08:05
何を、どう測るか
公式の Global Average は全体の参考として残し、正式なスコアには互いに重ならない専門タスクを使います。
この証拠の使い方
元の Global Average は参考にとどめ、正式な票には互いに重ならない専門タスクを使います。
評価の成績
固定のルールで、公開モデルごとに代表となる構成を 1 つ採用しています。匿名のテスト用モデルは表示せず、元のランキングの順位を保ち、1 項目につき最大 30 件です。
| 元の順位 | 元の型番 | 元の成績 | 代表の設定 |
|---|---|---|---|
| 1 | claude-fable-5-1-max-effortAnthropic | 83.4% | Max 推論 |
| 2 | claude-opus-5-5-max-effortAnthropic | 83.2% | Max 推論 |
| 3 | claude-fable-5-max-effortAnthropic | 83.0% | Max 推論 |
| 4 | gpt-6-astra-maxOpenAI | 82.2% | Max 推論 |
| 6 | gpt-6.1-sol-maxopenai | 81.6% | Max 推論 |
| 7 | muse-spark-1.3-xhighMeta | 81.6% | xHigh 推論 |
| 9 | deepseek-v4.1-flash-maxDeepSeek | 81.1% | 出典のデフォルト構成 |
| 10 | gpt-5.6-sol-maxOpenAI | 81.1% | Max 推論 |
| 11 | gpt-5.5-xhighOpenAI | 80.2% | xHigh 推論 |
| 12 | claude-opus-5-max-effortAnthropic | 80.1% | Max 推論 |
| 13 | smaug-agenticAbacus.AI | 79.5% | 出典のデフォルト構成 |
| 14 | gpt-6-sol-maxOpenAI | 79.2% | Max 推論 |
| 15 | kimi-k3Moonshot AI | 79.2% | 出典のデフォルト構成 |
| 16 | gemini-3.7-flash-highGoogle | 78.8% | High 推論 |
| 17 | qwen3.8-maxAlibaba | 78.5% | 出典のデフォルト構成 |
| 18 | grok-4.6xAI | 78.0% | 出典のデフォルト構成 |
| 19 | gpt-5.4-xhighOpenAI | 78.0% | xHigh 推論 |
| 20 | muse-spark-1.2-xhighMeta | 78.0% | xHigh 推論 |
| 21 | gpt-5.6-terra-maxOpenAI | 77.9% | Max 推論 |
| 23 | deepseek-v4-pro-0813DeepSeek | 77.4% | 出典のデフォルト構成 |
| 24 | smaug-flashAbacus.AI | 77.4% | 出典のデフォルト構成 |
| 25 | grok-4.7-xhighxAI | 77.4% | xHigh 推論 |
| 26 | gemini-3.1-pro-preview-highGoogle | 77.0% | High 推論 |
| 27 | smaug-miniAbacus.AI | 76.9% | 出典のデフォルト構成 |
| 28 | deepseek-v4-flash-vision-expDeepSeek | 76.8% | 出典のデフォルト構成 |
| 29 | claude-opus-4-7-xhigh-effortAnthropic | 76.5% | xHigh 推論 |
| 30 | claude-opus-4-8-max-effortAnthropic | 76.2% | Max 推論 |
| 31 | qwen3.8-flash-nextAlibaba | 76.2% | 出典のデフォルト構成 |
| 32 | glm-5.3Z.ai | 76.1% | 出典のデフォルト構成 |
| 33 | claude-sonnet-5-xhigh-effortAnthropic | 76.0% | xHigh 推論 |
評価の限界と、データの帰属
総合平均は特定の能力の変化を薄めます。クロスチェック用にとどめ、二重に票を数えません。運営に関わる Abacus.AI は Smaug モデルも開発しているため、同社だけの成績は独立した別の出典で補う必要があります。
データのライセンス：Apache 2.0
成績は LiveBench が公表したものです。元のスコアと Karu News の総合スコアは尺度が異なるため、足し合わせられません。