評価のソース公式の評価
ARC-AGI-2
ARC Prize / 推論 · 見知らぬルールから学び、一般化する
Karu News での扱い観察中
証拠の予算点数に使いません
元データの時刻不明
直近の同期まだ集めていません
何を、どう測るか
標準の harness を固定し、提供者が専用に最適化した adapter の成績とは分けます。
この証拠の使い方
観察中：公式サイトの Terms は、体系的な収集と集計に書面の許可を求めています。現在の公式成績の集計の範囲は、まだ確定していません。標準の harness と Provider Adapter は分け、専用アダプターの最高スコアを一般のモデルの代表にはしません。
評価の限界と、データの帰属
観察中：公式サイトの Terms は、体系的な収集と集計に書面の許可を求めています。現在の公式成績の集計の範囲は、まだ確定していません。標準の harness と Provider Adapter は分け、専用アダプターの最高スコアを一般のモデルの代表にはしません。
データのライセンス：ランキングデータの利用範囲を確認中です。
成績は ARC Prize が公表したものです。元のスコアと Karu News の総合スコアは尺度が異なるため、足し合わせられません。