評価のソース公式の評価
PRBench · Finance
Scale AI / 専門業務 · 実際の金融判断の問題に答え、専門的な判断、導出、リスクの説明を確かめます。
Karu News での扱い観察中
証拠の予算点数に使いません
元データの時刻不明
直近の同期まだ集めていません
何を、どう測るか
Finance の完全な 600 問か Hard の 300 問のどちらかに固定し、検索ツール、推論段階、審判のバージョンをそろえます。その問題集の rubric の集計スコアを使い、完全セットと難問サブセットで二重に票を数えません。専門的な質疑応答を、エンドツーエンドの事務タスクとは扱いません。
この証拠の使い方
観察中：金融の専門的な判断を補えます。問題集、ツールの条件、安定したエクスポート、再表示の範囲を確認する必要があり、現在は出典を収録するだけで、自動収集も採点もしていません。
評価の限界と、データの帰属
モデル審判が評価するので、財務モデリングや表の作成を完了したことを示すものではありません。PRBench Legal と MCP Atlas は同じ Scale のものなので、ランキングの数を増やして機関の重みを上げることはできません。
データのライセンス：公式の問題集と評価コードは公開されています。そのライセンスはリアルタイムのランキングの成績を自動的にカバーせず、最新の成績の安定したエクスポートと再表示の範囲は確認が必要です。
成績は Scale AI が公表したものです。元のスコアと Karu News の総合スコアは尺度が異なるため、足し合わせられません。