評価のソース公式の評価
SpreadsheetBench 2
SpreadsheetBench / Renmin University / AfterQuery / 専門業務 · 財務モデリング、ワークブックの修復、データの可視化まで、表計算の仕事をひととおりこなします。
Karu News での扱い観察中
証拠の予算点数に使いません
元データの時刻不明
直近の同期まだ集めていません
何を、どう測るか
V2 の 321 タスクと、統一した SWE-agent の条件を固定します。独立した事務製品やほかの scaffold の成績は、基礎モデルに帰属させません。表の可視化の正しさは、広い意味での美しさとは異なります。
この証拠の使い方
観察中：安定した JSON と行ごとの日付はありますが、現在の統一条件での基礎モデルのカバーが足りません。当期の型番の実測を待ってから、スコアを接続します。
評価の限界と、データの帰属
観察中：安定した JSON と行ごとの日付はありますが、現在の統一条件での基礎モデルのカバーが足りません。当期の型番の実測を待ってから、スコアを接続します。
データのライセンス：公式サイトのフッターに MIT と記載があります。データセットとコードの入口は公開されています。
成績は SpreadsheetBench / Renmin University / AfterQuery が公表したものです。元のスコアと Karu News の総合スコアは尺度が異なるため、足し合わせられません。