#ベンチマーク
今日 1件10月7日(水)
· 1件10月6日(火)
· 1件8月22日(土)
· 1件8月15日(土)
· 1件Epoch AI、
ベンチマークの 9 つの 問い Epoch AI がベンチマークで解く 9 つの問いを提示しました。 AI が仕事全体を担えるかが最大の問いです。 ベンチマーク間のスコア相関の理由も問います。
Epoch AI(Substack)
7月23日(木)
· 1件7月6日(月)
· 1件6月18日(木)
· 1件Epoch AI、
AI 研究タスクの 分類を 公開 Epoch AI が AI 研究開発のタスク分類を公開しました。 研究ワークフローを 6分類、60 以上のタスクに分解しています。 各タスクは AI による自動化度を 0〜5 で評価しています。
Epoch AI(Substack)
6月15日(月)
· 1件Sequent、
アライメント研究組織を 設立 Sequent がアライメント研究の非営利組織を設立しました。 英国 AISI と Timaeus の人材が参加しています。 初期調達目標は 1 億〜1 億 5,000 万ドルです。
Import AI
6月12日(金)
· 1件2025年11月12日(水)
· 1件AI の
面接評価、 ベンチマークの 限界 Ethan Mollick が AI を面接で評価する方法を解説しました。 ベンチマークは公開や未校正などの問題を抱えます。 vibes による評価は個人向けで、標準化には不十分です。
One Useful Thing(Ethan Mollick)
2025年9月30日(火)
· 1件Ethan Mollick、
AI エージェントの 実務利用を 分析 Ethan Mollick 氏が AI エージェントの実務利用を分析しました。詳しくは出典へ。
One Useful Thing(Ethan Mollick)
2025年8月12日(火)
· 1件METR、
科学コミュニケーションの 課題 METR が科学コミュニケーションの考え方を解説しました。 開発者生産性の研究では AI 利用時に開発者が遅くなりました。 見出しでは「AI が遅くする」と「期待のずれ」を重視しました。
METR