評価のソース公式の評価
τ³-Banking
Sierra / 専門業務 · 統一したツール環境で銀行業務を処理し、ルールの理解、顧客とのやり取り、タスクの完了を確かめます。
Karu News での扱い結果待ち
証拠の予算2%
元データの時刻不明
直近の同期比べられる成績を待っています
何を、どう測るか
公式の standard 銀行業務、v1.0.1、alltools、GPT-5.2 のユーザーシミュレーターだけを比べ、pass@1 を使います。異なるツール、プロンプト、シミュレーター、音声モード、カスタムシステムは並べません。
この証拠の使い方
正式に採点します。ツールと事務の予算のうち 2% を占め、Mercor APEX と共有する 2 つの環境を合わせて 4% に調整しています。金融業務であることは、法務や EC などすべての業界をカバーしたことを意味しません。
評価の限界と、データの帰属
成績は固定した銀行タスクのシステムのもので、模擬ユーザーとツールのプロトコルに依存します。すべての職業に通じる正解率ではありません。
データのライセンス：MIT · Sierra Research の tau2-bench 公式リポジトリです。出典のクレジット表記を残します。
成績は Sierra が公表したものです。元のスコアと Karu News の総合スコアは尺度が異なるため、足し合わせられません。