本文へ移動
10/7(水) 13:08
あとで読む
評価のソース

Arena Creative Writing

LMArena · 人が物語、詩、その他の創作表現にブラインド投票し、作品が読者を引きつけるかを見ます。

公式の評価
Karu News での扱い順位に反映
証拠の予算5%
元データの時刻10/2(金) 09:00
直近の同期10/7(水) 08:05

何を、どう測るか

公式データセット text_style_control の creative_writing 分類から、スタイル制御後の Bradley–Terry スコアと信頼区間を読み取ります。全体のテキストや職業的な文章の分類の成績は借りません。

この証拠の使い方

正式に採点します。もとの人の好み 10% から 5% を分け、全体のテキストには 5% を残します。予算の総量は増えません。Arena の他のタスクとは証拠ファミリーを共有します。

評価の成績

固定のルールで、公開モデルごとに代表となる構成を 1 つ採用しています。匿名のテスト用モデルは表示せず、元のランキングの順位を保ち、1 項目につき最大 30 件です。

元の順位元の型番元の成績代表の設定
1gemini-4-argon-highgoogle1,518.8High 推論
2claude-opus-5.5-highAnthropic1,516.3High 推論
3claude-fable-5-highAnthropic1,502.6High 推論
4claude-opus-4-6-highAnthropic1,500.8High 推論
5gemini-3.7-flash-highGoogle1,493.4High 推論
6claude-opus-4-7-highAnthropic1,489High 推論
7gemini-3.8-flash-highGoogle1,484.5High 推論
8gemini-3-proGoogle1,484.4出典のデフォルト構成
10claude-fable-5.1-maxAnthropic1,481.8Max 推論
11gemini-3.1-pro-previewGoogle1,480.3出典のデフォルト構成
14gemini-3.6-flash-highGoogle1,470.9High 推論
15claude-opus-5-maxAnthropic1,470.6Max 推論
16claude-opus-4-5-20251101-high-32kAnthropic1,469.5High 推論 · 32k
17claude-opus-4-8-highAnthropic1,469.5High 推論
19gpt-5.6-sol-xhighOpenAI1,468.3xHigh 推論
20qwen3.8-maxAlibaba1,467.9出典のデフォルト構成
21muse-sparkMeta1,465.5出典のデフォルト構成
22gemini-3.5-flash-highGoogle1,463.9High 推論
24grok-4.20-beta1xAI1,463出典のデフォルト構成
26kimi-k3-maxMoonshot AI1,460.2出典のデフォルト構成
27gpt-6.1-sol-maxopenai1,459.7Max 推論
28muse-spark-1.3-maxMeta1,458.7Max 推論
29gemini-3-flashGoogle1,456.8出典のデフォルト構成
30gpt-5.5-instantOpenAI1,456.4出典のデフォルト構成
31muse-spark-1.2 (xHigh)Meta1,455.5xHigh 推論
32glm-5.2-maxZ.ai1,454.2出典のデフォルト構成
34glm-5.3-maxZ.ai1,453.9出典のデフォルト構成
35gpt-5.5-highOpenAI1,451.3High 推論
36grok-4.5xAI1,450.2出典のデフォルト構成
37claude-sonnet-4-5-20250929-high-32kAnthropic1,450High 推論 · 32k
評価の限界と、データの帰属

公開されたユーザーのプロンプトは分類器で振り分けたもので、すべてが長編小説や日本語の創作とは限りません。投票には個人の好みが含まれます。Arena の全体テキストと職業的な文章の分類とは重なりがあり、追加の独立機関としては数えません。

データのライセンス:CC BY 4.0 · Arena 公式の Hugging Face leaderboard-dataset です。クレジット表記と出典リンクを残し、集計で加えた変更を明記します。

成績は LMArena が公表したものです。元のスコアと Karu News の総合スコアは尺度が異なるため、足し合わせられません。