評価のソース公式の評価
Harvey Legal Agent Benchmark
Vals AI / Harvey / 専門業務 · 法務資料を処理し、Word、Excel、スライドなどのレビューできるファイルを納品します。
Karu News での扱い観察中
証拠の予算点数に使いません
元データの時刻不明
直近の同期まだ集めていません
何を、どう測るか
Harvey の非公開テストセット、6 つのファイルツール、docx、xlsx、pptx のスキルを固定し、インターネットは無効にします。2 人の審判のタスク全体の通過率の平均を使い、項目ごとの条件通過率では代用しません。Fable 5 の Opus 4.8 フォールバックを含む 11.25% は、単一のモデルに帰属させられません。公式はフォールバックなしの 10.42% を別に載せていますが、統一した構成の方針で審査する必要があります。
この証拠の使い方
観察中：完全な法務業務の証拠を優先して補います。安定した成績のエクスポート、構成、再表示の範囲を整える必要があり、現在は出典を収録するだけで、自動収集も採点もしていません。
評価の限界と、データの帰属
モデルのフォールバックと審判の条件が、比較のしやすさに影響します。約 90% の項目条件の通過率は、業務全体を完了したことを意味しません。同じ Vals の複数の専門項目を、独立した複数の機関とは扱えず、ランキングの数で総合の重みを増やすこともできません。
データのライセンス：公式の公開成績は閲覧できます。Harvey のオープンソースの問題集とコードのライセンスは、Vals の非公開テストの成績を自動的にカバーせず、ランキングデータの再表示の範囲は確認が必要です。
成績は Vals AI / Harvey が公表したものです。元のスコアと Karu News の総合スコアは尺度が異なるため、足し合わせられません。