本文へ移動
10/7(水) 13:08
あとで読む
評価のソース

Rapidata SVG · Human Preference

Rapidata · 人がモデルの生成したベクター画像を比べ、見た目の好みを直接評価します。

公式の評価
Karu News での扱い観察中
証拠の予算点数に使いません
元データの時刻不明
直近の同期まだ集めていません

何を、どう測るか

同じ静的 SVG タスクの Preference Elo だけを使います。Alignment、Coherence、Overall とは二重に票を数えません。公式データセットの固定バージョンの公開成績表を基準にし、元の人間の対戦までたどれます。

この証拠の使い方

観察中:公式データとライセンスは使えますが、DeepSeek の 3 本のローリングエイリアスに固定バージョンの証拠がないため、この成績表全体はいまは採用しません。評価側が実行バージョンを補うのを待っています。現行の出典の予算は減らしていません。

評価の限界と、データの帰属

SVG の作図は、画面デザインのすべてを代表しません。公開されている元データにはモデルのバージョン、生成日、API fingerprint がなく、ローリングのインターフェースが更新されたかを判断できません。ランキングの更新日からモデルのバージョンを推測してはいけません。

データのライセンス:CC BY 4.0 · Rapidata/svg-benchmark です。公式のクレジット表記とデータへのリンクを残します。

成績は Rapidata が公表したものです。元のスコアと Karu News の総合スコアは尺度が異なるため、足し合わせられません。