評価のソース公式の評価
Vending-Bench 2
Andon Labs / 専門業務 · 店舗経営を 1 年間シミュレーションし、仕入れ、交渉、在庫、価格設定を行います。
Karu News での扱い観察中
証拠の予算点数に使いません
元データの時刻不明
直近の同期まだ集めていません
何を、どう測るか
同じ V2 の単一エージェントのタスクの期末残高を比べ、複数回の実行の分散を残します。複数人で競う Arena、異なるツールや推論構成は、別々に扱います。タスクでの経営成果は評価の成績で、API の価格は能力スコアに入れません。
この証拠の使い方
観察中：長期の経営と EC の能力を補う価値は明確です。安定した元の成績のプロトコル、実行構成、再表示のライセンスは、まだ補う必要があります。利益はシミュレーターの悪用からも生まれうるので、信頼できる経営と同じとは言えません。
評価の限界と、データの帰属
観察中：長期の経営と EC の能力を補う価値は明確です。安定した元の成績のプロトコル、実行構成、再表示のライセンスは、まだ補う必要があります。利益はシミュレーターの悪用からも生まれうるので、信頼できる経営と同じとは言えません。
データのライセンス：ランキングデータの利用範囲を確認中です。
成績は Andon Labs が公表したものです。元のスコアと Karu News の総合スコアは尺度が異なるため、足し合わせられません。