なぜAI監査は問題を解決しないのか——AIES-26が示す3つの警告

2026年10月12日から14日、スウェーデンのマルメでAI倫理の国際会議AIES-26が開かれ、論文集が10月11日に公開された。監査が権力の集中を助け変化の見せかけを残すという主張、監査を検知した提供者による操作を難しくするプロトコルの提案、アクセス手段や検索の有無で最大8パーセントポイント動くベンチマーク精度の実測。AIへの信頼を支える評価の仕組みがどこで壊れうるか、3本の論文から読み解く。

監査は変化の見せかけを残す、という挑発

AIシステムの問題を是正する手段として、アルゴリズム監査への期待は高まってきた。しかし、Carnegie Mellon UniversityのAlicia DeVrio氏とUniversity of Texas at AustinのDavid Gray Widder氏は、論文「No More Plaudits for Algorithm Audits: A Provocation」（AIES-26論文集9巻2号、818〜830ページ）で、この期待に正面から異議を唱えている。

両氏は、監査が増えても同じ問題が繰り返されており、アルゴリズムによる害の是正はほとんど進んでいないと指摘する。その上で、監査は害に対処している外観を与えながら、精査対象のはずの収益を生むシステムに実質的に挑戦していない、と主張する。論文が挙げる弊害は3つだ。監査が権力の集中をさらに進めること、問題と解決策の捉え方を狭めること、前向きな変化の外観を保ち続けること。

結論として両氏は問題のあるアルゴリズムの振る舞いを正すには監査を優先事項から外し、監査が置かれている権力の構造そのものへの精査に移るべきだと論じる。副題の「A Provocation（挑発）」が示すとおり、この論文は実測に基づく報告ではなく、分野の前提を問い直す議論として位置づけられている。内容は著者らの主張として受け取る必要がある。

監査が事前に分かれば、公平性指標は操作できる

監査の設計そのものを組み直すアプローチもある。フランスのINRIAとEURECOM、カナダのPolytechnique MontréalとUniversité du Québec à Montréalの合同チームは、論文「Manipulation-Proof Oblivious Audits Against Deceptive Model Providers」（同論文集、1096〜1108ページ）で、監査の信頼性を脅かす「操作」を問題にした。

論文によれば、規制の文脈での監査は事前に申告されるか、簡単に検知できる。そのためモデル提供者は意図的かどうかを問わず監査の過程を操作できるという。特に脆弱なのが公平性の評価だ。提供者はセンシティブ属性を推論し、グループ間の割り当て率を戦略的に均すことで、公平性の指標を満たすように見せかけられる。

チームの提案はPrivate Information Retrieval（PIR）と呼ばれる仕組みを使った「oblivious（盲目）な監査」プロトコルだ。提供者に大量のインスタンスのラベル付けを行わせながら、どの部分集合が監査に使われるかを分からせない。監査対象のモデルにも、その学習手順にも、推論パイプラインにも変更は不要で、監査側の負担も小さいとされる。理論的には、このプロトコルの下で不公平を隠そうとする提供者は、はるかに多くの応答を改ざんする必要があり、操作の難度と発覚の可能性がともに上がることを示した。代表的な監査シナリオでの実験も有効性と実用性を裏付けたと報告されている。

ベンチマークの精度は、条件で最大8パーセントポイント動く

測定の段階にも、見直すべき前提がある。University of PennsylvaniaとStony Brook Universityの研究チームは、論文「What Current AI Benchmarks Leave Unmeasured: Modality, Search, Citations, and Implications (for Safety Evaluations)」（同論文集、877〜889ページ）で、LLMベンチマーク評価の前提を検証した。

論文が批判するのは、安全性・信頼性・導入可否の根拠に使われる評価の多くが、単一のアクセス手段（モデルAPI）で、プロンプト1つにつき1回の実行で、主な指標も精度だけ、という状況だ。チームは最も広く使われるLLMの1つを対象に、ChatGPTのチャットUIとOpenAIのAPIという2つのアクセス手段を、ウェブ検索の有無ごとに比較した。2つのベンチマークBBQとSafetyBenchから層化抽出した合計401プロンプトに、プロンプトあたり3回の繰り返し実行を合わせ、合計4,812件の応答を収集している。

結果の要点は次のとおりだ。検索を無効にした場合、チャットUIの応答は両ベンチマークともAPIより精度が低かった。ウェブ検索を有効にすると精度は最大8パーセントポイント低下し、あるベンチマークではアクセス手段間の優劣が逆転した。同じプロンプトの繰り返し実行では、最大21%のプロンプトで一貫しない応答が生じた。アクセス手段によって回答の根拠とした引用が異なり、回答を控える棄権の挙動も一貫しなかった。

論文は、多くのベンチマークが報告する単純な精度の数値が、AI安全性の評価に関わる行動の変化を覆い隠しうると指摘する。その上で、安全性の評価はアクセス手段、複数回実行の一貫性、検索条件、応答レベルの挙動を体系的に扱うべきだと論じている。

構造・手続き・測定、3層から直す評価の生態系

3本の論文は異なる層から同じ問題を攻めている。DeVrio・Widder両氏は監査が機能しない構造の理由を問い、Godinot氏らのチームは監査手続きに操作耐性を持たせる設計を示し、Encarnación氏らのチームは測定条件が数値をどう動かすかを実測した。

この問題は規制と直結する。同じ論文集にはEUのAI規則（AI Act）の下でリスクを質的・量的に評価することを論じた「Qualifying and Quantifying Risk Under the EU AI Act」も含まれる。適合性の確認を外部評価に頼る制度では、監査と評価の信頼性がそのまま制度の信頼性になる。

3本を組み合わせて読むと、評価の生態系を組み替える方向は3つ考えられる。監査を権力の文脈で捉え直すこと。監査手続きに操作耐性を持たせること。配布環境の条件を反映した測定に切り替えること。3つは互いに代替ではなく、組み合わせて初めて機能するはずだ。

最後に、読者に1つ問いを残したい。私たちがAIの「安全性」の根拠として受け取っている数値は、どのアクセス手段で、何回の実行で、どんな条件で測られたものだろうか。