評価のソース公式の評価
Rapidata SVG · Human Preference
Rapidata · 人がモデルの生成したベクター画像を比べ、見た目の好みを直接評価します。
Karu News での扱い観察中
証拠の予算点数に使いません
元データの時刻不明
直近の同期まだ集めていません
何を、どう測るか
同じ静的 SVG タスクの Preference Elo だけを使います。Alignment、Coherence、Overall とは二重に票を数えません。公式データセットの固定バージョンの公開成績表を基準にし、元の人間の対戦までたどれます。
この証拠の使い方
観察中:公式データとライセンスは使えますが、DeepSeek の 3 本のローリングエイリアスに固定バージョンの証拠がないため、この成績表全体はいまは採用しません。評価側が実行バージョンを補うのを待っています。現行の出典の予算は減らしていません。
評価の限界と、データの帰属
SVG の作図は、画面デザインのすべてを代表しません。公開されている元データにはモデルのバージョン、生成日、API fingerprint がなく、ローリングのインターフェースが更新されたかを判断できません。ランキングの更新日からモデルのバージョンを推測してはいけません。
データのライセンス:CC BY 4.0 · Rapidata/svg-benchmark です。公式のクレジット表記とデータへのリンクを残します。
成績は Rapidata が公表したものです。元のスコアと Karu News の総合スコアは尺度が異なるため、足し合わせられません。