SimpleQA Verified

Name: SimpleQA Verified
Creator: Epoch AI

Epoch AI / 知識 · 短い質問での事実の正確さ

Karu News での扱い順位に反映

証拠の予算4%

元データの時刻9/30（水） 07:00

直近の同期10/7（水） 08:05

何を、どう測るか

Epoch が自ら回し直した mean_score だけを使い、固定した推論段階を用います。ECI や Best score の集計列は読み取りません。

正式に採点します。同じ問題ファミリーは固定の予算を共有します。

固定のルールで、公開モデルごとに代表となる構成を 1 つ採用しています。匿名のテスト用モデルは表示せず、元のランキングの順位を保ち、1 項目につき最大 30 件です。

元の順位	元の型番	元の成績	代表の設定
1	gpt-6-astra_maxOpenAI	75.6%	Max 推論
2	gpt-6.1-sol_maxopenai	73.9%	Max 推論
3	gemini-3.1-pro-preview_highGoogle	73.5%	High 推論
4	claude-opus-5-5_maxAnthropic	72.2%	Max 推論
5	claude-fable-5-1_maxAnthropic	70.8%	Max 推論
6	claude-fable-5_xhighAnthropic	70.7%	xHigh 推論
7	gpt-5.6-sol_maxOpenAI	69.7%	Max 推論
7	gemini-3.8-flash_highGoogle	69.7%	High 推論
9	gemini-3.7-flash_highGoogle	69.2%	High 推論
10	gemini-3-flash-preview_highGoogle	66.8%	High 推論
11	gemini-3.5-flash_highGoogle	66.2%	High 推論
11	gemini-3.6-flash_highGoogle	66.2%	High 推論
13	gpt-5.5_xhighOpenAI	63.0%	xHigh 推論
14	gpt-6-sol_maxOpenAI	60.7%	Max 推論
15	muse-spark-1.2_xhighMeta	60.3%	xHigh 推論
16	claude-opus-5_maxAnthropic	59.9%	Max 推論
17	muse-spark-1.1Meta	57.8%	出典のデフォルト構成
18	grok-4.7_xhighxAI	56.0%	xHigh 推論
19	qwen3.7-maxAlibaba	55.8%	出典のデフォルト構成
20	claude-opus-4-8_maxAnthropic	53.0%	Max 推論
21	deepseek-v4-pro-0813_maxDeepSeek	52.9%	Max 推論
22	qwen3.6-max-previewAlibaba	52.0%	出典のデフォルト構成
23	claude-opus-4-7_xhighAnthropic	51.7%	xHigh 推論
24	kimi-k3_maxMoonshot AI	50.6%	Max 推論
25	gpt-5-2025-08-07_highOpenAI	50.1%	High 推論
26	o3-2025-04-16_highOpenAI	49.4%	High 推論
28	grok-4.6_xhighxAI	48.9%	xHigh 推論
29	qwen3-max-2025-09-23Alibaba	48.7%	出典のデフォルト構成
30	grok-4.5_highxAI	48.3%	High 推論
31	gpt-5.1-2025-11-13_highOpenAI	48.0%	High 推論

評価の限界と、データの帰属

正式に採点します。同じ問題ファミリーは固定の予算を共有します。

データのライセンス：CC BY 4.0 · Epoch AI が自ら評価したデータです。

成績は Epoch AI が公表したものです。元のスコアと Karu News の総合スコアは尺度が異なるため、足し合わせられません。