Ai2、
Allen Institute for AI (Ai2)要
AI要約
3行で- Ai2 がベンチマーク分析の BenchMIRT を公開しました。
- 100 の LLM と 16 のベンチマークで学習しています。
- 設問の 10% でもモデルの優劣をほぼ保てます。
AI要約です。詳しくは出典へ。誤りを報告
Karunews が選んだ理由ベンチマークの設問ごとに何を測っているかを分解する手法が示され、評価設計を見直す材料になります。
典
出典
1ソース · 一次情報Allen Institute for AI (Ai2)一次BenchMIRT: What are LLM benchmarks actually measuring?allenai.org