Trump、
Trump 大統領が AI を超知能と呼ぶ大統領令に署名しました。 AI 各社の CEO が拘束力のない安全協定に署名しました。 協定は法的拘束力がなく、道徳的拘束力にとどまります。
TechCrunch · AI
#安全性・アライメント
今日 12件10月5日（月）
· 1件Trump、
10月4日（日）
· 6件OpenAI の
Joe 氏、 AI 対応の 内情を 投稿 OpenAI の Joe 氏が AI インシデント対応の内情を投稿しました。 直近 3 か月を「地獄のような日々」と表現しました。 隔離と監視の強化を提言しました。
Ledge.aiOpenAI、
AI への 宗教的比喩に 懸念 OpenAI の Sam Altman 氏が AI への宗教的比喩に懸念を示しました。 人間の判断を AI に委ねるのは「実際の安全問題」と述べています。 同氏は以前、空の魔法の知能を目指すと発言していました。
The DecoderCognition、
AI 訴訟の 増加を 予想 Cognition の法務責任者が訴訟増加を予想しました。 野心的な検察官が開発者を訴える可能性を指摘しました。 シリコンバレーの創業者らは法的措置に備えています。
The Information
10月3日（土）
· 11件Anthropic、
Opus 5.5 を 公開し値下げ Anthropic が Opus 5.5 を公開しました。 価格を下げ、性能と速度を高めています。 防衛向けサイバーセキュリティ提供も拡大しました。
Last Week in AIApple、
全ディスク権限を 変更し対策 Apple が AI エージェント対策で権限を変更しました。 Meta は FDA では不十分だと主張しています。 Apple はこれに異議を唱えています。
Ars Technica · AICircuit Breaker Labs、
AI 安全性を 検証 Circuit Breaker Labs が AI の安全性テストを提供しています。 年齢や言語が異なる疑似ユーザーでモデルを検証します。 1日あたり数万〜数十万件の対話をシミュレーションします。
TechCrunch · AITrillium Labs、
AI 研究を 公開で 実施 Trillium Labs が AI 研究の非営利団体を設立しました。 再帰的自己改善やエージェントなど問題領域も公開で研究します。 18 か月で 3,000 万ドルを学習に投じる計画です。
WIRED · AI
10月2日（金）
· 22件NVIDIA、
エージェント安全基盤を 発表 NVIDIA がエージェント安全基盤を発表しました。 AI エージェントの権限逸脱を防ぐ安全基盤です。 独立したハードウェアからも監視できます。
Ledge.aiAI 安全協定、
自主規制に 懸念 トランプ米大統領が AI 各社の安全協定に署名しました。 協定は AI ラボの自主規制に委ねる内容です。 米軍が偽の AI 報告で中国船に接近しかけました。
WIRED · AIARC Evals、
METR に 改称し独立へ 移行 ARC Evals が METR に改称し独立しました。 Model Evaluation & Threat Research の略で、測定学にちなみます。 Beth Barnes 氏が引き続きチームを率います。
METRMETR、
LLM エージェント向けタスクを 募集 METR が自律 LLM エージェント評価用タスクを募集しています。 アイデアに 20 ドル、仕様に 200 ドルを支払います。 実装は人間の作業費の 3 倍を基本報酬とします。
METRMETR、
Emma Abele を Executive Director 就任 METR が Emma Abele を Executive Director に就任させました。 Beth Barnes は Head of Research に就きます。 数カ月の試験運用を経て新体制を正式化しました。
METRMETR、
AI 研究開発の 評価を 開発 METR が AI 研究開発能力の評価を開発しています。 AI エージェントの自己改善による危険を早期に警告します。 ML 研究エンジニアと研究者を募集しています。
METRAISI、
白箱制御の 研究を 公開 AISI が白箱制御チームを立ち上げました。 白箱制御はモデル内部の活性化を監視・改変します。 Llama-3.1-8B ではサンドバッギング検出が高精度でした。
UK AI Security Institute BlogAISI、
能力 引き出しの 実験手順を 標準化 AISI が能力引き出し実験の手順を標準化しました。 引き出し技術で性能は学習計算量 5〜20 倍相当に向上します。 チェックリストで再現性と比較可能性を高めます。
UK AI Security Institute Blog国際ネットワーク、
エージェント試験を 実施 国際ネットワークがエージェント評価の共同試験を実施しました。 9 言語・約 1,500 タスクで安全性と詐欺リスクを検証しました。 英語の安全性は通過率約 40% で他言語よりやや高いです。
UK AI Security Institute BlogAISI、
フロンティア AI の リスクを 分析中 英国 AISI がフロンティア AI の社会的リスク分析を開始しました。 過度な依存や感情依存、詐欺、金融不安の 4 領域を優先します。 実利用の把握や監視システム構築などの対策を進めます。
UK AI Security Institute BlogAISI、
Anthropic と OpenAI と 連携 英 AISI が Anthropic と OpenAI の協業を公表しました。 両社は非公開のツールと安全対策の詳細を AISI に提供しました。 AISI と米 CAISI が脆弱性の特定と修正で連携します。
UK AI Security Institute Blog