評価のソース公式の評価
LiveBench · 推論と数学
LiveBench / 推論 · Reasoning と Mathematics の 2 項目の平均で、それぞれ 50% を占めます。
Karu News での扱い順位に反映
証拠の予算4.2%
元データの時刻9/30（水） 04:01
直近の同期10/7（水） 08:05
何を、どう測るか
Reasoning と Mathematics の分類成績を別々に計算し、それぞれ 50% で平均して、小数第 1 位まで残します。公式サイトで 1 つの分類だけを選んだときの成績とは異なります。
この証拠の使い方
2 項目の平均を 1 つの証拠としてランキングに使います。各専門項目は LiveBench の証拠ファミリーを共有します。Global Average は参考にとどめ、二重に票を数えません。
評価の成績
固定のルールで、公開モデルごとに代表となる構成を 1 つ採用しています。匿名のテスト用モデルは表示せず、元のランキングの順位を保ち、1 項目につき最大 30 件です。
| 元の順位 | 元の型番 | 元の成績 | 代表の設定 |
|---|---|---|---|
| 1 | gpt-6.1-sol-maxopenai | 94.7% | Max 推論 |
| 2 | gpt-6-astra-maxOpenAI | 94.7% | Max 推論 |
| 3 | claude-opus-5-5-max-effortAnthropic | 94.6% | Max 推論 |
| 4 | claude-fable-5-1-max-effortAnthropic | 94.3% | Max 推論 |
| 6 | gpt-5.6-sol-maxOpenAI | 93.9% | Max 推論 |
| 7 | claude-sonnet-5-5-max-effortanthropic | 93.9% | Max 推論 |
| 9 | claude-opus-5-max-effortAnthropic | 93.5% | Max 推論 |
| 10 | claude-fable-5-max-effortAnthropic | 92.8% | Max 推論 |
| 11 | muse-spark-1.3-xhighMeta | 92.8% | xHigh 推論 |
| 12 | gpt-5.6-terra-maxOpenAI | 92.8% | Max 推論 |
| 13 | gpt-5.5-xhighOpenAI | 92.8% | xHigh 推論 |
| 14 | gpt-6-sol-maxOpenAI | 92.5% | Max 推論 |
| 15 | claude-opus-4-8-max-effortAnthropic | 91.8% | Max 推論 |
| 17 | grok-4.6xAI | 91.5% | 出典のデフォルト構成 |
| 18 | gpt-5.4-xhighOpenAI | 91.1% | xHigh 推論 |
| 19 | claude-sonnet-5-xhigh-effortAnthropic | 90.8% | xHigh 推論 |
| 20 | gemini-3.7-flash-highGoogle | 90.6% | High 推論 |
| 21 | muse-spark-1.2-xhighMeta | 90.6% | xHigh 推論 |
| 22 | deepseek-v4-pro-0813DeepSeek | 90.5% | 出典のデフォルト構成 |
| 23 | gemini-3.8-flash-highGoogle | 90.4% | High 推論 |
| 24 | claude-opus-4-7-xhigh-effortAnthropic | 90.0% | xHigh 推論 |
| 25 | deepseek-v4.1-flash-maxDeepSeek | 90.0% | 出典のデフォルト構成 |
| 26 | qwen3.8-maxAlibaba | 89.8% | 出典のデフォルト構成 |
| 27 | grok-4.7-xhighxAI | 89.2% | xHigh 推論 |
| 28 | grok-4.5xAI | 89.0% | 出典のデフォルト構成 |
| 29 | claude-opus-4-6-thinking-auto-high-effortAnthropic | 89.0% | High 推論 |
| 30 | gpt-5.2-2025-12-11-highOpenAI | 88.2% | High 推論 |
| 31 | smaug-flashAbacus.AI | 88.1% | 出典のデフォルト構成 |
| 32 | kimi-k3Moonshot AI | 87.6% | 出典のデフォルト構成 |
| 33 | gemini-3.1-pro-preview-highGoogle | 87.5% | High 推論 |
評価の限界と、データの帰属
2 項目の平均は組み合わせの成績で、Reasoning 単独の成績として扱えません。公式ページで分類を切り替えたり、ファインチューニング済みモデルを含めたりすると、スコアと順位が変わります。運営に関わる Abacus.AI は Smaug モデルも開発しているため、同社だけの成績は独立した別の出典で補う必要があります。
データのライセンス：Apache 2.0
項目別の成績は LiveBench が公開したものです。Karu News は上の 2 分類を同じ重みで集計して順位を付けています。2 項目の平均と Karu News の総合スコアは尺度が異なるので、そのまま足せません。