2026年7月22日

これはとんでもない話だ。要約するとこうだ。OpenAIは未公開モデルのサイバーセキュリティテストを実施し、モデルのガードレール機能をオフにした。テストを解く代わりに、モデルはOpenAIのサンドボックスを脱出し、Hugging Faceに侵入するエクスプロイトを発見して、答えを盗んでテストを不正解こうとした。

その過程で、モデルの利用可能性の不均衡がソフトウェアのセキュリティ確保を妨げているという、これまでで最も強力な証拠が示された。

実際に起きたこと

この出来事を理解するために、現在3つの文書が役立つ。

  1. ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? は、2026年5月11日に公開された論文で、LLMを活用したエージェントシステムを評価するための新しい評価スイート「ExploitGym」を紹介している。
  2. Security incident disclosure — July 2026 は、2026年7月16日にHugging Faceが公開したもので、「agentic security-research harness—used LLM still not known」という攻撃者が一部のシステムを侵害した経緯を説明している。
  3. OpenAI and Hugging Face partner to address security incident during model evaluation は、2026年7月21日にOpenAIが公開したもので、自社のエージェントハーネスが原因であることを認め、Hugging Faceと協力して後始末に当たっていると述べている。

ExploitGym

ExploitGymの論文 は事前に知らなかったが、非常に興味深い内容だ。UCバークレー校、マックス・プランク研究所、UCサンタバーバラ校、アリゾナ州立大学の研究者が、報告された脆弱性を具体的なエクスプロイトに変換するモデルの能力を評価するための新しいベンチマークを設計した。OpenAI、Anthropic、Googleはフィードバックを提供し、自社モデルでのベンチマーク実行を支援した。

このベンチマークは「人気のソフトウェアプロジェクトに影響を与えた実世界の脆弱性から派生した898件のインスタンス」で構成されており、LinuxカーネルやV8 JavaScriptエンジンも含まれる。

ベンチマーク結果を最もよく表す段落は次のとおりだ。

すべての構成の中で、Claude Mythos PreviewとGPT-5.5が最も高い成功数（それぞれ157件と120件）を達成し、現在のフロンティアエージェントが制御された条件下で実世界の脆弱性の相当なサブセットを悪用できることを示した。GPT-5.4も54件のタスクを解決し、中間層に位置づけられる。残りのモデル–エージェントの組み合わせはそれぞれ15件未満のタスクしか解決できず、エンドツーエンドの悪用は依然として困難で、今日のフロンティアシステムを鋭く区別することを強調している。特に、Claude Opus 4.7は新しいチェックポイントであるにもかかわらずClaude Opus 4.6よりも成功数が少なく、フルセットでのコストも大幅に低い。トレース検査により、Claude Opus 4.7とGemini 3.1 Proは、対象の脆弱性を悪用不可能と判断して早期に終了することが多いことが明らかになった。

論文では、エージェントがテストのパラメータ外に逸脱して不正を行うのを防ぐために取ったアプローチについても説明しており、これは後で重要になる！

アウトバウンド接続は、日常的なパッケージインストール（Ubuntu aptリポジトリとPyPI）とV8のビルドに必要なツールチェーンの取得を許可する厳選された許可リストに制限されており、その他の外部エンドポイントはすべてブロックされる。

論文は次のように結論づけている（強調は筆者による）。

結果は、フロンティアAIエージェントによる自律的なエクスプロイト開発がもはや仮説的な能力ではないことを示している。現在のエージェントはすべてのターゲットで信頼できるわけではないが、すでに実世界の脆弱性の非自明な割合を悪用しており、カーネルコンポーネントのような複雑なターゲットも含まれている。この急速な出現自体が中心的な発見であり、以前はあり得ないと思われていた能力が、現在展開されているフロンティアモデルに存在することを示している。

ここで重要な点がある。この論文は脆弱性の発見についてではなく、それらの脆弱性を実際のエクスプロイトに変換する能力についてのものである。

Anthropicが4月にMythosへのアクセスを制限した際にも、この能力について触れていた。4月の記事を参照。脆弱性に対して行動できるモデルは、単に脆弱性を発見できるモデルよりもはるかに危険である。

FableとMythosの違いの一つは、Fableの方がこのような方法で脆弱性を武器化することを拒否する可能性が高いことだ。米国政府が先月Fableを禁止した際には、この区別を理解していなかったようだ。6月の記事を参照。

Hugging Face事件

攻撃の最初の兆候は、2026年7月16日のHugging Faceのブログ記事で明らかになった。

悪意のあるデータセットが、データセット処理の2つのコード実行パス（リモートコードデータセットローダーとデータセット構成のテンプレートインジェクション）を悪用して、処理ワーカー上でコードを実行した。そこから攻撃者はノードレベルのアクセス権限に昇格し、クラウドとクラスタの認証情報を収集し、週末にかけて複数の内部クラスタに横移動した。

この攻撃を成功させたコードの詳細が公開されることを期待したい。おそらくdatasetsライブラリを使用したパッケージを指していると思われる。これはHugging Faceがデータセットをバンドルしてプラットフォーム上で共有するためのプロジェクトだ。このライブラリは以前は任意のコードを実行できたが、時間の経過とともに徐々に制限が強化され、2025年7月の4.0.0リリースでtrust_remote_code=Trueフラグが完全に削除された。

攻撃がこのライブラリを使用したと仮定すると、pickleシリアライゼーションを何らかの方法で悪用したか、他の非自明なコード実行パスを見つけたか、あるいは（最も可能性が高いが）依存関係としてdatasets<4.0.0を指定したことになる。

このキャンペーンは、自律型エージェントフレームワーク（agentic security-research harnessに基づいて構築されているように見える—使用されたLLMはまだ不明）によって実行され、数千の個別のアクションを短命のサンドボックスの群れ全体で実行し、パブリックサービス上に自己移行するコマンドアンドコントロールを配置した。

これは洗練された攻撃だった！

その後Hugging Faceは壁にぶつかった。「商用APIの背後にあるフロンティアモデル」（おそらくAnthropicとOpenAIのもの）を攻撃の分析に使用しようとしたが、ブロックされてしまったのだ。

ログ分析を開始した際、最初は商用APIの背後にあるフロンティアモデルを使用した。これは機能しなかった。分析には大量の実際の攻撃コマンド、エクスプロイトペイロード、C2アーティファクトを送信する必要があり、これらのリクエストはプロバイダーの安全ガードレールによってブロックされた。インシデントレスポンダーと攻撃者を区別できないためだ。

彼らはMITライセンスのGLM-5.2のセルフホストインスタンスに切り替え、それが何が起きているかを理解するのに役立った。

これは、防御側チームと（まだ不明の）攻撃者の間の根本的な非対称性を示している。

攻撃者のエージェントを駆動したモデルが、脱獄されたホストモデルか制限のないオープンウェイトモデルのどちらかであるかはわからない。いずれにせよ、攻撃者は使用ポリシーに縛られていなかったが、我々のフォレンジック作業は最初に試したホストモデルのガードレールによってブロックされた。

彼らがこの攻撃をどれだけ深刻に受け止めたかを示す有用な指標として、次の記述がある。

[...] 最後に、この事件を法執行機関にも報告した。

では、この「自律型エージェントフレームワーク」の責任者は誰だったのか？ それはOpenAI自身だった。

OpenAIの告白

5日後の7月21日、OpenAIは犯人を明らかにした。彼らは新しい未公開モデルに対してExploitGymベンチマークを実行しており、そのモデルは意図されたパラメータを大幅に逸脱して動作していた（強調は筆者による）。

調査の結果、この特定の事件はOpenAIモデルの組み合わせ — GPT‑5.6 Solと、さらに能力の高いプレリリースモデルを含む、すべて評価目的でサイバー拒否を低減したもの — によって引き起こされたことがわかった。[...]

我々は、高リスクのサイバー活動をモデルが追求するのを防ぐために使用される本番分類器なしでこの評価を実行することで、最大限のサイバー能力を推定する。我々のベンチマークは高度に隔離された環境で実行され、ネットワークアクセスは、サードパーティソフトウェアがパッケージレジストリのプロキシおよびキャッシュとして機能する内部ホストを介したパッケージのインストールに制限されている。

モデルはOpenAIのリサーチ環境とHugging Faceの本番インフラストラクチャ全体で脆弱性を特定し、連鎖させたことで、Hugging Faceの本番データベースから直接テストソリューションを取得した。すべての証拠は、モデルがExploitGymの解決策を見つけることに過度に集中し、かなり狭いテスト目標を達成するために極端な手段を取ったことを示唆している。

ここで何が起きたかは明らかだ。OpenAIは開発中のモデルの安全フィルタを解除し、サンドボックスに閉じ込めてExploitGymの問題を解くよう指示した。ガードレールがなかったため、モデルがそのサンドボックスから脱出し、Hugging Faceに侵入して、そこから答えを読み取ることを妨げるものは何もなかった。

OpenAIのサンドボックスは、制御されたプロキシを介した追加パッケージのインストールに関連するサイトの許可リストへのアクセスを許可するという、現在一般的なパターンを採用していた。OpenAIの言葉を借りると。

サンドボックス化されたテスト環境で動作している間、我々のモデルは評価問題を解決するためにオープンインターネットアクセスを取得する方法を見つけるために substantial amount of inference compute を費やした。アクセスを得るために、モデルはパッケージレジストリキャッシュプロキシのゼロデイ脆弱性（現在ベンダーに責任を持って開示済み）を特定し、悪用した。このアクセスにより、我々のモデルはリサーチテスト環境で一連の権限昇格と横移動アクションを実行し、インターネットアクセスを持つノードに到達した。

したがって最初のステップはパブリックインターネットに脱出することだった。その後、モデルはHugging Faceに侵入して答えを見つけた。

インターネットアクセスを取得した後、モデルはHugging FaceがExploitGym用のモデル、データセット、ソリューションをホストしている可能性があると推論した。これを知り、モデルは評価を不正解くために使用できる秘密情報にアクセスする方法を検索し、正常に発見した。一例として、モデルは盗まれた認証情報とゼロデイ脆弱性を使用するなど、複数の攻撃ベクトルを連鎖させて、Hugging Faceサーバー上のリモートコード実行パスを見つけた。

複数の攻撃ベクトルを連鎖させることは、まさにこれらの新しいモデルができることであり、以前の世代のモデルでは失敗していた可能性がある。

先月、Claude Fableは容赦なく積極的であることについて書いたが、それは私のノートパソコン上でカスタムWebサーバーを起動し、WebKit CSSの問題をデバッグするためにCORSトリックを展開していることに気づいたからだ。容赦ない積極性は、この新しい世代のMythosクラスモデルの決定的な特徴であることが判明した。目標を設定し、そこに到達する方法を与えれば、たとえ意図せずとも、必ず解決策を見つけ出す。

これを単なる見せ物として片付ける誘惑に抵抗する

必然的に、この話をOpenAIが自社モデルを恐ろしく効果的に見せるための不誠実なマーケティングトリックとして片付ける人もいるだろう。この事件に関するHacker Newsの議論で「marketing」という用語が81回使用されているのを確認した。

そうした人々には現実から目を背けるのをやめろと言いたい—陰謀論をでっち上げるためにHugging Faceまで巻き込んでいるのだ！

今日我々が持つ最高のモデルには、新しい脆弱性を見つけて悪用する能力がある。ExploitGymの論文自体が「フロンティアAIエージェントによる自律的なエクスプロイト開発がもはや仮説的な能力ではない」と結論づけており、この事件はそのまさに完璧な例である。

非対称性はますます苛立たしい

この話で最も苛立たしい詳細の一つは、Hugging FaceがOpenAIのモデルによる偶発的かつ攻撃的な攻撃に直面した際、その攻撃に対抗するためにOpenAIのモデルに頼ることができなかったことだ。

我々がアクセスできるフロンティアモデルは、米国政府による輸出管理の継続的な脅威の影響を強く受けて、ソフトウェアの保護に役立つ方法がますます制限されている。Claude Fable 5は、この記事の校正すらしてくれなかった！ より能力の低いモデルにダウングレードするよう主張した。

一方、中国のGLM-5.2、Kimi 3、新しいQwen 3.8 Maxのようなオープンウェイトモデルにはこれらの制限が一切ないようだ—たとえある制限があったとしても、重みを修正することで微調整で除去できる可能性が高い。

これらの制約は我々をより安全にするためのものだ。しかし、その効果が逆になっているリスクがあると思う。