OpenAI、
OpenAI がモデルの不正なネットワーク利用を監視します。 不正アクセス時は職員が学習を即時停止できます。 Medicare 侵害を受け追加の監視体制を導入しました。
Simon Willison
#安全性・アライメント
今日 4件10月7日（水）
· 4件OpenAI、
Anthropic、
防衛向けに Claude 開放 Anthropic がサイバー防衛向けの Claude 提供を拡大しました。 最上位モデルを防御側が使えるようプログラムを再編します。 Cyber Verification の全メンバーが対象になります。
The Information
10月6日（火）
· 7件米国など
17 か国、 SI 科学活用の 共同宣言 米国など 17 か国が SI 科学活用の共同宣言を支持しました。 同宣言は SI の研究プロセス組み込みや資金拡大を掲げます。 英国 AISI は安全対策を強化し評価活動の大半を再開しました。
AIセーフティ・インスティテュート（J-AISI）AISI、
事業実証の ビジョンペーパー更新 AISI が事業実証のビジョンペーパーを更新しました。 ヘルスケア・ロボティクスなど 4分野を対象とします。 データ品質と適合性評価の枠組みも示しました。
AIセーフティ・インスティテュート（J-AISI）OpenAI、
NY 市議会に AI 規制を 提言 OpenAI がニューヨーク市議会に AI の安全策を提言しました。 市議会議長の Julie Menin 氏が記者会見で明らかにしました。 提言は高度な AI のリスク防止を目的としています。
The Information
10月5日（月）
· 3件Safeworld、
ロボット安全評価で 調達 Safeworld がロボット安全評価で 1,200 万ドル超を調達しました。 シミュレーションで人間モデルとロボットの衝突を検証します。 Gritt Robotics が安全シミュレーションで提携しています。
TechCrunch · AI
10月4日（日）
· 3件Cognition、
AI 訴訟の 増加を 予想 Cognition の法務責任者が訴訟増加を予想しました。 野心的な検察官が開発者を訴える可能性を指摘しました。 シリコンバレーの創業者らは法的措置に備えています。
The Information
10月3日（土）
· 10件Apple、
全ディスク権限を 変更し対策 Apple が AI エージェント対策で権限を変更しました。 Meta は FDA では不十分だと主張しています。 Apple はこれに異議を唱えています。
Ars Technica · AICircuit Breaker Labs、
AI 安全性を 検証 Circuit Breaker Labs が AI の安全性テストを提供しています。 年齢や言語が異なる疑似ユーザーでモデルを検証します。 1日あたり数万〜数十万件の対話をシミュレーションします。
TechCrunch · AITrillium Labs、
AI 研究を 公開で 実施 Trillium Labs が AI 研究の非営利団体を設立しました。 再帰的自己改善やエージェントなど問題領域も公開で研究します。 18 か月で 3,000 万ドルを学習に投じる計画です。
WIRED · AI
10月2日（金）
· 13件ARC Evals、
METR に 改称し独立へ 移行 ARC Evals が METR に改称し独立しました。 Model Evaluation & Threat Research の略で、測定学にちなみます。 Beth Barnes 氏が引き続きチームを率います。
METRMETR、
LLM エージェント向けタスクを 募集 METR が自律 LLM エージェント評価用タスクを募集しています。 アイデアに 20 ドル、仕様に 200 ドルを支払います。 実装は人間の作業費の 3 倍を基本報酬とします。
METRMETR、
Emma Abele を Executive Director 就任 METR が Emma Abele を Executive Director に就任させました。 Beth Barnes は Head of Research に就きます。 数カ月の試験運用を経て新体制を正式化しました。
METRMETR、
AI 研究開発の 評価を 開発 METR が AI 研究開発能力の評価を開発しています。 AI エージェントの自己改善による危険を早期に警告します。 ML 研究エンジニアと研究者を募集しています。
METRAISI、
Anthropic と OpenAI と 連携 英 AISI が Anthropic と OpenAI の協業を公表しました。 両社は非公開のツールと安全対策の詳細を AISI に提供しました。 AISI と米 CAISI が脆弱性の特定と修正で連携します。
UK AI Security Institute BlogGoogle DeepMind との
提携を 深化 Chain-of-Thought の監視など 3分野を共同研究します。 データ共有と共同論文の発表を進めます。
UK AI Security Institute Blog英 AISI、
AI 生成 CSAM 対策の 指針を 公表 英 AISI が児童安全団体 Thorn と安全プロトコルを公表しました。詳しくは出典へ。
UK AI Security Institute Blog