評価のソース公式の評価
FinanceBenchmark
FinanceBenchmark / 専門業務 · 金融の価格付け、資本の計算、リスク管理のタスクをこなし、数値とコードの実行結果で検証します。
Karu News での扱い観察中
証拠の予算点数に使いません
元データの時刻不明
直近の同期まだ集めていません
何を、どう測るか
問題集の v2 と v3、実行環境のバージョンは分けます。問題ごとに 3 回試行する条件を残します。公式サイトの Tasks passed は少なくとも 1 回成功したことを指しますが、Pass@1 とも呼ばれており、1 回ごとの平均正解率とは混用できません。Finance Index も別の集計指標です。
この証拠の使い方
観察中：答えが確定し、コードで検証できる金融の証拠を補えます。指標の定義は確認が必要で、公式の Sol 結果の JSON ダウンロードは今回 404 を返したため、現在は出典を収録するだけで、自動収集も採点もしていません。
評価の限界と、データの帰属
3 回のうち少なくとも 1 回成功することは、1 回ごとの成功率とは異なります。区間は正しい指標に対応させる必要があり、ローリングのモデルエイリアスもバージョンを確認する必要があります。問題集とダウンロードボタンが公開されていることは、元の成績が取得できることを意味しません。
データのライセンス：公式リポジトリのコードは MIT で、サイトは FinanceBenchmark の引用の保持を求めています。リアルタイムの成績の完全なエクスポートの利用範囲は確認できておらず、コードのライセンスをランキングデータのライセンスの代わりにはしません。
成績は FinanceBenchmark が公表したものです。元のスコアと Karu News の総合スコアは尺度が異なるため、足し合わせられません。