Ai2、
Allen Institute for AI (Ai2)要
AI要約
3行で- Ai2 が評価ワークベンチマーク olmo-eval を公開しました。
- OLMES を基に開発中のモデル向けに拡張しています。
- エージェント型や複数ターンの評価に対応します。
AI要約です。詳しくは出典へ。誤りを報告
Karunews が選んだ理由モデル開発中の反復評価に特化した設計と、既存ツールとの役割の違いが原文で具体的に説明されており、評価基盤の選び方を判断する材料になります。
典
出典
1ソース · 一次情報Allen Institute for AI (Ai2)一次olmo-eval: An evaluation workbench for the model development loopallenai.org