評価のソース公式の評価
LiveBench · コーディング総合
LiveBench / コーディング · Coding と Agentic Coding の 2 項目の平均で、それぞれ 50% を占めます。
Karu News での扱い順位に反映
証拠の予算2.4%
元データの時刻9/30（水） 04:01
直近の同期10/7（水） 08:05
何を、どう測るか
Coding と Agentic Coding の分類成績を別々に計算し、それぞれ 50% で平均して、小数第 1 位まで残します。公式サイトで 1 つの分類だけを選んだときの成績とは異なります。
この証拠の使い方
2 項目の平均を 1 つの証拠としてランキングに使います。各専門項目は LiveBench の証拠ファミリーを共有します。Global Average は参考にとどめ、二重に票を数えません。
評価の成績
固定のルールで、公開モデルごとに代表となる構成を 1 つ採用しています。匿名のテスト用モデルは表示せず、元のランキングの順位を保ち、1 項目につき最大 30 件です。
| 元の順位 | 元の型番 | 元の成績 | 代表の設定 |
|---|---|---|---|
| 1 | claude-opus-5-5-max-effortAnthropic | 80.5% | Max 推論 |
| 2 | deepseek-v4.1-flash-maxDeepSeek | 78.7% | 出典のデフォルト構成 |
| 4 | claude-fable-5-1-max-effortAnthropic | 76.2% | Max 推論 |
| 5 | claude-fable-5-max-effortAnthropic | 74.1% | Max 推論 |
| 6 | claude-sonnet-5-5-max-effortanthropic | 73.8% | Max 推論 |
| 7 | smaug-agenticAbacus.AI | 73.6% | 出典のデフォルト構成 |
| 8 | claude-opus-5-max-effortAnthropic | 73.3% | Max 推論 |
| 9 | muse-spark-1.3-xhighMeta | 72.6% | xHigh 推論 |
| 10 | kimi-k3Moonshot AI | 71.8% | 出典のデフォルト構成 |
| 11 | gpt-5.6-sol-maxOpenAI | 70.1% | Max 推論 |
| 12 | claude-sonnet-5-xhigh-effortAnthropic | 70.0% | xHigh 推論 |
| 13 | glm-5.3Z.ai | 69.9% | 出典のデフォルト構成 |
| 14 | smaug-flashAbacus.AI | 69.1% | 出典のデフォルト構成 |
| 15 | gpt-6-astra-maxOpenAI | 68.8% | Max 推論 |
| 16 | qwen3.8-maxAlibaba | 68.8% | 出典のデフォルト構成 |
| 18 | gemini-3.7-flash-highGoogle | 68.6% | High 推論 |
| 19 | qwen3.8-27bAlibaba | 68.5% | 出典のデフォルト構成 |
| 20 | smaug-miniAbacus.AI | 68.1% | 出典のデフォルト構成 |
| 21 | gpt-5.5-xhighOpenAI | 68.1% | xHigh 推論 |
| 22 | glm-5.3-flashZ.ai | 67.9% | 出典のデフォルト構成 |
| 23 | muse-spark-1.1-xhighMeta | 67.8% | xHigh 推論 |
| 24 | muse-spark-1.2-xhighMeta | 67.6% | xHigh 推論 |
| 25 | gpt-6.1-sol-maxopenai | 67.5% | Max 推論 |
| 26 | gpt-6-sol-maxOpenAI | 67.3% | Max 推論 |
| 27 | qwen3.8-flash-nextAlibaba | 67.1% | 出典のデフォルト構成 |
| 28 | grok-4.6xAI | 66.9% | 出典のデフォルト構成 |
| 29 | deepseek-v4-flash-vision-expDeepSeek | 66.7% | 出典のデフォルト構成 |
| 30 | gpt-5.6-terra-maxOpenAI | 66.6% | Max 推論 |
| 31 | gpt-5.2-codexOpenAI | 66.5% | 出典のデフォルト構成 |
| 32 | claude-opus-4-7-xhigh-effortAnthropic | 66.4% | xHigh 推論 |
評価の限界と、データの帰属
2 項目の平均は組み合わせの成績で、Coding 単独の成績として扱えません。公式ページで分類を切り替えたり、ファインチューニング済みモデルを含めたりすると、スコアと順位が変わります。運営に関わる Abacus.AI は Smaug モデルも開発しているため、同社だけの成績は独立した別の出典で補う必要があります。
データのライセンス：Apache 2.0
項目別の成績は LiveBench が公開したものです。Karu News は上の 2 分類を同じ重みで集計して順位を付けています。2 項目の平均と Karu News の総合スコアは尺度が異なるので、そのまま足せません。