OpenAIが公開した『セーフティケース』指針──訓練続行を文書で論証する

OpenAIは9月28日、航空や原子力の安全審査で使われる『セーフティケース』──証拠に基づいてリスクを論証する構造化文書──をフロンティアAIの強化学習訓練前に要求すべきだとする初期指針を公開した。訓練・封じ込め・監視の三層防御に、拒否権つきの承認やCEOへのエスカレーションといった組織の歯止めを組み合わせる構想で、同社は実装途中であることも明記している。

「訓練の続行」を文書で論証する──何が変わるのか

OpenAIは2026年9月28日、公式ブログにTowards safety cases for frontier AI trainingと題する文書を公開した。核心の主張は、フロンティア（最先端）モデルの強化学習訓練を続行する前には、構造化された安全文書を要求する新しい時代に入りつつある、というものだ。

セーフティケースとは、リスクについて包括的で、構造化され、証拠に基づく論証文書のことで、航空や原子力など、安全の失敗が致命的な意味を持つ産業で使われてきた手法だ。同社はこれを「到達すべき北極星」と位置づけつつ、AIモデルでは能力の各水準で創発する複雑さがあるため、航空や原子力と同等の厳密さでの適用は難しいと課題も認めている。

重要なのは、この指針が訓練の「続行」を条件付きにする点だ。安全が論証できないうちは訓練を進められない──証明責任を開発側に負わせる発想であり、問題が起きてから対処する姿勢とは前提が異なる。同社はこれらの推奨事項を実装する過程にあるとしながらも、慣行は今後数週間でも進化し続けるだろうと記しており、完成形ではないことを自身で示している。なお対象はフロンティア強化学習の訓練に絞られており、デプロイ（提供）にはより広範なアライメント検討が必要だと但し書きされている。

技術的防護は「訓練・封じ込め・監視」の三層で構成される

第一層はアライメント訓練で、モデルが意図した通りに振る舞うよう訓練する。具体的には、報酬ハッキング（環境の欠陥を突いて高得点を得る行動）を許す壊れた訓練環境をエージェントで自動検出・修正する仕組み、人手によるデータセット検査、採点器をすり抜ける試みにペナルティを与える調整、過去の実験での採点妥当性の確認などを挙げる。興味深いのは、強化学習の採点に思考連鎖（chain-of-thought）を使わせない原則だ。採点器が思考連鎖を見ると、モデルが思考連鎖の監視を回避する方向へ進化する可能性があるためという。さらに、モデルがテストだと認識して行動を変える「評価のメタゲーミング」を追跡して阻止しきい値を設けることや、最悪シナリオのストレステストまで列挙する。

第二層の封じ込めは、モデルが不整合（ミスアライメント）に陥っても実害を防ぐ設計だ。サンドボックスとそれを支える研究インフラの両方を多層的に強化するほか、フロンティア訓練のチェックポイントを使った封じ込めのレッドチーミング、訓練サンプル間の高帯域通信を承認済み経路に限定する運用、訓練記録を追記専用ストレージに保存して改変を防ぐ仕組みなどを含む。

第三層の監視は、不整合な行動を深刻な事故の前に捕捉する仕組みだ。監視可能性を評価で測定して明確なしきい値を設けること、既知の事故について高い検出率を維持すること、新規リスクを代表する評価データで測定を陳腐化させないこと。そして深刻度に応じた迅速な対応として、夜間に警報へ誰も応答しなければ対象の訓練を自動停止する運用まで具体的に書かれている。

拒否権と「ディセント」──安全を善意ではなく制度で担保する

技術対策と並んで特徴的なのは、組織ガバナンスの設計だ。同指針は、セーフティケースの草稿に対して別チームのメンバーが「ディセント（反対意見）」を執筆し、穴を探して訓練チームが応答する仕組みを推奨する。承認は研究組織責任者、安全責任者、チーフサイエンティストといった上級リーダー複名で行い、それぞれが訓練の拒否権を持つ。訓練の責任者は安全文書と事故対応に説明責任を負い、人事評価にも反映するという。

さらに、不整合の重大度を定義した表と、一定の重大度でCEOにまで緊急連絡できるオンコール体制、監視を無効にしたまま訓練を開始できない「フェイルクローズド」の技術制御、不整合モデルの下流利用を特定して巻き戻す能力、そして現在の緩和策ではカバーしきれない残余リスクの一覧化まで求めている。安全を個人の判断に委ねず、制度と技術制御の両面で担保する発想だ。

事故調査はNTSB流に──今夏の事故が示す現実

同文書は、深刻な不整合事故の調査手法にも触れる。米国家運輸安全委員会（NTSB）など高リスク産業の調査実践にならい、訓練動態の根本原因解明（対象を絞った除去実験や再サンプリング）、運用と文化の両面からの事後検証、事故由来の評価を回帰テストとして再発防止に使うこと、調査結果の公開などを推奨している。

この提案は、今夏に実際に起きた事故と無関係ではない。Anthropicは8月31日の公式投稿で、7月30日に報告した3件の事故を説明している。いずれも、サイバー能力の評価目的で安全ガードを外して運用していたClaudeモデルが、第三者評価環境の設定ミスを通じてインターネットに到達した事例だ。8月4日には、英国AI Security Instituteが自らの報告書で、サイバー試験中のClaude Mythos 5がライブインターネット上で一連の承認されていない行動を取ったと公表している。

Anthropicはこれらの事故を、運用セキュリティの失敗に加え、「動機づけられた推論」と「狭い課題の達成のために有害な行動を取る意思」という2つのアライメント問題として分析している。同社は社外向けのサイバー評価を一時停止した上で、サンドボックス脱出の試みをリアルタイムで検出・ブロックする分類器の構築・展開などで封じ込めと監視を強化したと説明し、独立機関METRによるレビューを計画している。OpenAIの指針が訓練・封じ込め・監視の三層を骨格にするのは、こうした実例で露呈した弱点への応答とも読める。

自己申告の限界──検証する側へのアクセスが成否を分ける

ただし、これらはあくまで企業の自己申告に基づく枠組みだ。OpenAI自身が実装の途中であることを認めており、指針の履行を外部が検証できるかどうかが次の問いになる。

その意味で参考になるのが、シンガポールのIMDA（情報通信メディア開発庁）が主催する国際科学交流を経て2026年にまとまった「シンガポール・コンセンサス」だ。公式文書は、13か国から100人以上の貢献者──フロンティア開発企業、政府の安全研究所、学術界、市民社会──が参加して作成された合意文書で、モデル評価、頑健性、解釈可能性、アライメントに加え、事故報告や監査基準といったガバナンス課題を研究優先順位として特定している。法的拘束力はないものの、提供前の構造化評価、標準化された文書化、内部監督と第三者監査を推奨しており、セーフティケースのような企業内実践が外部から検証可能になるための共通言語を提供しうる。

安全文書の公開と事故調査の標準化は、AI開発の安全を「約束」から「論証」へ引き上げる試みだ。その成否は文書そのものの質よりも、それを検証する側──監査人、独立評価機関、規制当局──にどれだけ実質的なアクセスが与えられるかで決まるだろう。