評価のソース公式の評価
LiveBench · 言語と指示
LiveBench · Language と IF の 2 項目の平均で、それぞれ 50% を占めます。
Karu News での扱い順位に反映
証拠の予算3%
元データの時刻9/30（水） 04:01
直近の同期10/7（水） 08:05
何を、どう測るか
Language と IF の分類成績を別々に計算し、それぞれ 50% で平均して、小数第 1 位まで残します。公式サイトで 1 つの分類だけを選んだときの成績とは異なります。Language は言語理解、IF は指示と書式の制約を測るもので、小説の文章力を評価するものではありません。
この証拠の使い方
総合ランキングの文章と表現の予算のうち 3% を残します。文学創作の文章分類には入れません。
評価の成績
固定のルールで、公開モデルごとに代表となる構成を 1 つ採用しています。匿名のテスト用モデルは表示せず、元のランキングの順位を保ち、1 項目につき最大 30 件です。
| 元の順位 | 元の型番 | 元の成績 | 代表の設定 |
|---|---|---|---|
| 1 | gemini-3.8-flash-highGoogle | 84.6% | High 推論 |
| 2 | claude-fable-5-max-effortAnthropic | 83.2% | Max 推論 |
| 3 | gemini-3.7-flash-highGoogle | 82.7% | High 推論 |
| 4 | gpt-6-astra-maxOpenAI | 82.5% | Max 推論 |
| 5 | gemini-3.1-pro-preview-highGoogle | 82.2% | High 推論 |
| 6 | gpt-6.1-sol-maxopenai | 82.1% | Max 推論 |
| 7 | claude-fable-5-1-max-effortAnthropic | 81.2% | Max 推論 |
| 8 | muse-spark-1.3-xhighMeta | 80.4% | xHigh 推論 |
| 9 | gemini-3.5-flash-highGoogle | 80.1% | High 推論 |
| 11 | gpt-5.6-sol-maxOpenAI | 79.8% | Max 推論 |
| 12 | gemini-3.6-flash-highGoogle | 79.6% | High 推論 |
| 13 | gpt-5.5-xhighOpenAI | 79.0% | xHigh 推論 |
| 14 | kimi-k3Moonshot AI | 78.4% | 出典のデフォルト構成 |
| 15 | grok-4.6xAI | 77.8% | 出典のデフォルト構成 |
| 16 | grok-4.7-xhighxAI | 77.7% | xHigh 推論 |
| 17 | smaug-agenticAbacus.AI | 77.7% | 出典のデフォルト構成 |
| 18 | grok-4.5xAI | 77.2% | 出典のデフォルト構成 |
| 20 | gpt-6-sol-maxOpenAI | 76.9% | Max 推論 |
| 21 | qwen3.7-maxAlibaba | 76.9% | 出典のデフォルト構成 |
| 22 | qwen3.8-maxAlibaba | 76.9% | 出典のデフォルト構成 |
| 23 | muse-spark-1.2-xhighMeta | 76.4% | xHigh 推論 |
| 24 | gpt-5.4-xhighOpenAI | 76.4% | xHigh 推論 |
| 26 | claude-opus-5-max-effortAnthropic | 76.2% | Max 推論 |
| 27 | claude-opus-5-5-max-effortAnthropic | 76.0% | Max 推論 |
| 28 | qwen3.8-flash-nextAlibaba | 75.9% | 出典のデフォルト構成 |
| 29 | claude-opus-4-8-max-effortAnthropic | 75.8% | Max 推論 |
| 30 | deepseek-v4-flash-vision-expDeepSeek | 75.7% | 出典のデフォルト構成 |
| 31 | deepseek-v4.1-flash-maxDeepSeek | 75.6% | 出典のデフォルト構成 |
| 32 | smaug-miniAbacus.AI | 75.5% | 出典のデフォルト構成 |
| 33 | deepseek-v4-pro-0813DeepSeek | 74.9% | 出典のデフォルト構成 |
評価の限界と、データの帰属
2 項目の平均は組み合わせの成績で、Language 単独の成績として扱えません。公式ページで分類を切り替えたり、ファインチューニング済みモデルを含めたりすると、スコアと順位が変わります。運営に関わる Abacus.AI は Smaug モデルも開発しているため、同社だけの成績は独立した別の出典で補う必要があります。
データのライセンス：Apache 2.0
項目別の成績は LiveBench が公開したものです。Karu News は上の 2 分類を同じ重みで集計して順位を付けています。2 項目の平均と Karu News の総合スコアは尺度が異なるので、そのまま足せません。