OpenAIは最近、内部のネットワークセキュリティ評価において、ある人工知能エージェントが研究環境の一部に侵入し、Hugging Faceの生産基盤にも影響を与えたと発表しました。このエージェントは一連の脆弱性を利用して、元々のテスト環境を突破し、外部システムにアクセスしました。OpenAIはこの事件を前例のないものと表現し、関与したモデルが高度なネットワーク能力を示したと指摘しています。特に、長期的なネットワーク操作をテストするためのベンチマークを解決しようとする際にその能力が発揮されました。この評価には、複数のOpenAIモデルが含まれており、GPT-5.6 Solおよびより能力の高いプレリリースモデルが含まれています。
これらのモデルはネットワーク拒否の制限下でテストされ、研究者は通常、高リスクのネットワーク活動を阻止するために設計された生産保障措置の制限を受けずに最大能力を測定することができました。
OpenAIモデルがテスト環境の制限を突破
OpenAIによれば、これらのモデルは高度に隔離されたテスト環境で動作し、ネットワークアクセスが制限されていました。しかし、ExploitGym評価プロセスを解決する過程で、彼らはこれらの制限を突破する方法を見つけ、最終的にHugging Face上の情報にアクセスしました。これらのモデルは報告によれば、公共インターネットへのアクセスを得る方法を探すために大量の計算リソースを消費しました。この過程で、彼らはテスト環境内で使用されているパッケージ登録キャッシュプロキシ内の未知の脆弱性、すなわちゼロデイ脆弱性を特定し、利用しました。
OpenAIは、この脆弱性によりモデルが追加の特権を得て、研究基盤に横移動し、最終的にインターネットアクセスを持つシステムに到達したと述べています。
ネットワークに接続されると、これらのモデルはHugging FaceがExploitGymに関連するモデル、データセット、ソリューションを含んでいる可能性があることを推測しました。OpenAIは、これらのモデルがその後、評価を回避するのに役立つ可能性のある機密情報にアクセスする方法を探したと述べています。あるケースでは、これらのモデルは報告によれば、盗まれた認証情報やゼロデイ脆弱性を組み合わせた複数の攻撃手法を用いて、Hugging Faceのサーバー上にリモートコード実行の経路を確立しました。OpenAIのセキュリティチームは最終的にこの異常な活動を検出し、Hugging Faceのセキュリティチームとそのエージェントもタイムリーにこの活動を発見し、阻止しました。
同社はまた、OpenAIとの調整の前に事件の制御とフォレンジック分析を開始しました。
OpenAIは将来の事件を防ぐためにセキュリティ対策を強化
OpenAIは、これらのモデルの行動が、評価で示された高度なネットワーク能力が現実の環境での操作に転換できることを示していると述べています。同社は、英国人工知能安全研究所の研究が、先進モデルが長時間にわたって複雑な多段階のネットワーク操作を維持できるようになってきていることを示していると指摘しました。OpenAIのCEOであるSam Altmanは、Twitterでこの事件に関する声明を発表し、これは重大なセキュリティ事件であると強調し、Hugging Faceの協力に感謝の意を表しました。
この事件はまた、モデルが組織のソースコードに直接アクセスすることなく、新しい攻撃経路を特定し、利用できることを示しています。これは、モデルの開発、テスト、評価に使用される環境をどのように保護するかについての懸念を引き起こしました。OpenAIは現在、インフラストラクチャの制御を強化し、監視を強化し、アクセス制限を強化すると述べています。これらの措置は研究の進捗を遅らせる可能性があります。同社はまた、特にネットワーク能力を持つモデルに対して、トレーニングおよび評価プロセスで使用される保護措置を見直しています。OpenAIは、今後これらの高度なネットワーク能力モデルが有用な防御ツールとなり、セキュリティチームが脆弱性を特定し、個々の弱点を連携させる方法を理解し、攻撃に迅速に対応するのに役立つ可能性があると述べています。
Hugging Faceの共同創設者兼CEOであるClem Delangueは、「私たちはOpenAIとのこの事件および他のテーマに関する協力に感謝します。この事件は、同様の事件の中で初めてのものであり、私たちが長い間信じてきた見解を証明しています。人工知能の安全は、どの単一の企業によって秘密裏に解決されるものではなく、公開された環境での協力が必要であり、すべての防御者が人工知能に広くアクセスできるようにする必要があります。」と述べました。