評価のソース公式の評価
AutomationBench
Zapier / 専門業務 · ソフトウェアをまたいで、自動化された仕事をこなす
Karu News での扱い観察中
証拠の予算点数に使いません
元データの時刻不明
直近の同期まだ集めていません
何を、どう測るか
同じ公式の非公開テストセットの構成だけを比べます。Fable 5.1 に Opus 5 のフォールバックが混ざった行は除く必要があります。
この証拠の使い方
観察中：公開の問題集は、公式の非公開ランキングのデータとは異なります。安定したエクスポートと、混合モデルの印を確認する必要があります。
評価の限界と、データの帰属
観察中：公開の問題集は、公式の非公開ランキングのデータとは異なります。安定したエクスポートと、混合モデルの印を確認する必要があります。
データのライセンス：ランキングデータの利用範囲を確認中です。
成績は Zapier が公表したものです。元のスコアと Karu News の総合スコアは尺度が異なるため、足し合わせられません。