記事一覧に戻る

この記事は中国語版 简体中文 でもご覧いただけます。

Hugging Faceは、プラットフォーム全体およびAI/MLエコシステム全体のセキュリティ向上を目的としてWizと提携することを発表いたします。

Wizの研究者らは、Hugging Faceプラットフォームのセキュリティに関して共同研究を行い、調査結果を公開しました。Wizは、顧客が安全な方法でソフトウェアを構築・運用できるよう支援するクラウドセキュリティ企業です。この研究の公開と合わせて、Hugging Faceが実施したセキュリティ改善策についてもご紹介します。

Hugging Faceは最近、継続的かつ積極的な脆弱性管理プロセスである「Wiz for Vulnerability Management」を導入し、プラットフォームにセキュリティ脆弱性が存在しない状態を維持しています。また、クラウド環境の安全な設定とその監視を可能にする「Cloud Security Posture Management (CSPM)」もWizで利用しています。

Wizの機能の中で特に気に入っている点は、ストレージからコンピュート、ネットワークまで、脆弱性を包括的に可視化できることです。複数のKubernetes（k8s）クラスターを運用し、複数のリージョンやクラウドプロバイダーにリソースを分散させているため、各脆弱性の完全なコンテキストグラフを単一の場所で一元的に確認できるレポートは非常に有用です。また、ツールを基盤に構築を進め、検出された問題を自動修復できるようにしており、特にSpacesで顕著な成果を上げています。

今回の共同研究の一環として、Wizのセキュリティ研究チームは、pickleを利用してサンドボックス化されたコンピュート環境内で任意のコードを実行することで、環境の脆弱性を特定しました。このブログおよびWizのセキュリティ研究論文をお読みになる際は、関連するすべての脆弱性は既に修正済みであり、脅威検知およびインシデント対応プロセスを引き続き強化していることをご理解ください。

Hugging Faceはセキュリティを非常に重要視しています。AIが急速に進化する中で、新たな脅威ベクトルが日々現れています。Hugging Faceが大手テック企業との複数の提携やビジネス関係を発表する中でも、ユーザーやAIコミュニティがAI/MLシステムや技術を責任を持って実験・運用できる環境を提供し続けることに変わりはありません。プラットフォームのセキュリティ確保とAI/MLの民主化の両立に取り組んでおり、コミュニティがこのパラダイムシフトに参加し、貢献できるようにしています。このブログでは、セキュリティ脅威からユーザーと顧客を守るというコミットメントを改めて表明します。以下では、pickleファイルに対するHugging Faceの考え方と、pickle形式からの移行における共有責任についても触れます。

今後数か月以内に、さらなるセキュリティ改善や発表が予定されています。これらの発表では、Hugging Faceプラットフォームコミュニティに対するセキュリティリスクだけでなく、AIのシステム全体のセキュリティリスクや緩和策のベストプラクティスについても取り上げる予定です。製品、インフラ、そしてAIコミュニティのセキュリティ確保に引き続き取り組んでまいりますので、今後のセキュリティ関連ブログやホワイトペーパーにご注目ください。

オープンソースセキュリティのコミュニティとの連携とツール

Hugging Faceは透明性とコミュニティとの協力を非常に重視しており、脆弱性の特定・開示、セキュリティ問題の解決に向けた共同作業、セキュリティツールの提供にも積極的に参加しています。以下は、コミュニティとの協力を通じて実現したセキュリティ上の成果であり、AIコミュニティ全体のセキュリティリスク低減に寄与するものです：

  • PicklescanはMicrosoftとの提携で構築されました。Matthieu Maitre氏がプロジェクトを開始し、Hugging Faceも内部で同様のツールを開発していたため、共同でpicklescanの開発に貢献しました。仕組みの詳細については以下のドキュメントをご覧ください： https://huggingface.co/docs/hub/en/security-pickle
  • SafetensorsはNicolas Patry氏によって開発された、pickleファイルに代わるセキュアな形式です。EuletherAIおよびStability AIとの共同イニシアチブでTrail of Bitsによる監査を受けています。 https://huggingface.co/docs/safetensors/en/index
  • Hugging Faceは世界中の優秀な研究者の方々を対象としたバグバウンティプログラムを運営しています。セキュリティ脆弱性を発見された研究者の方は、[email protected] までお問い合わせください。
  • マルウェアスキャン： https://huggingface.co/docs/hub/en/security-malware
  • シークレットスキャン： https://huggingface.co/docs/hub/security-secrets
  • 前述の通り、Wizと連携してプラットフォームのセキュリティリスク低減に取り組んでいます。
  • AI/MLコミュニティが直面するセキュリティ問題を扱う一連のセキュリティ関連出版を開始します。

オープンソースAI/MLユーザー向けセキュリティベストプラクティス

AI/MLは新たな攻撃ベクトルを生み出していますが、多くの攻撃に対する対策は長年確立されており、よく知られています。セキュリティ担当者は、AIリソースおよびモデルに適切なセキュリティコントロールを適用する必要があります。また、オープンソースソフトウェアやモデルを利用する際の参考となるリソースとベストプラクティスを以下に示します：

  • 貢献者の確認：信頼できるソースからのモデルのみを使用し、コミット署名に注意を払ってください。 https://huggingface.co/docs/hub/en/security-gpg
  • 本番環境ではpickleファイルを使用しない
  • Safetensorsを使用する： https://huggingface.co/docs/safetensors/en/index
  • OWASP Top 10を確認する： https://owasp.org/www-project-top-ten/
  • Hugging Faceアカウントで多要素認証（MFA）を有効にする
  • セキュリティ専門家または適切なセキュリティトレーニングを受けたエンジニアによるコードレビューを含む、セキュアな開発ライフサイクルを確立する 非本番および仮想化されたテスト/開発環境でモデルをテストする

pickleファイル - 部屋の中の不安な象

pickleファイルは、Wizおよびその他のセキュリティ研究者によるHugging Faceに関する最近の研究の中心的なテーマとなっています。pickleファイルは長年にわたりセキュリティリスクが指摘されており、詳細はドキュメントをご覧ください： https://huggingface.co/docs/hub/en/security-pickle

こうした既知のセキュリティ上の欠陥があるにもかかわらず、AI/MLコミュニティでは依然としてpickle（または同様に容易に悪用可能な形式）が頻繁に使用されています。これらのユースケースの多くはリスクが低かったり、テスト目的であったりするため、pickleファイルの使い慣れやすさや利便性がセキュアな代替手段よりも魅力的に映ることがあります。
オープンソースAIプラットフォームとして、Hugging Faceには以下の選択肢があります：

  • pickleファイルを完全に禁止する
  • pickleファイルに対して何もしない
  • pickleの使用を許可しつつ、リスクを合理的にかつ実践的に軽減する中間的なアプローチを取る

Hugging Faceは現時点でオプション3（中間的なアプローチ）を選択しています。この選択はエンジニアリングチームおよびセキュリティチームに負担を強いるものであり、AIコミュニティが選択したツールを使えるようにしつつ、リスクを軽減するために多大な努力を払ってきました。pickleに関連するリスクを軽減するために実施した主な対策は以下の通りです：

  • リスクを明記した明確なドキュメントの作成
  • 自動スキャンツールの開発
  • スキャンツールの利用と、セキュリティ脆弱性があるモデルへの明確な警告ラベルの付与
  • pickleの代わりに使用できるセキュアなソリューション（Safetensors）の提供
  • Safetensorsをプラットフォームの第一級市民として位置づけ、リスクを理解していないコミュニティメンバーを保護
  • 上記に加え、モデルが使用される領域のセキュリティを大幅にセグメント化・強化し、モデル内の潜在的な脆弱性に対処

Hugging Faceは、AIコミュニティの保護とセキュリティ確保におけるリーダーであり続けることを目指します。その一環として、pickleファイルに関連するリスクの監視と対応を継続します。pickleサポートの廃止も選択肢の一つですが、そのような決定を行う際はコミュニティへの影響をできる限り考慮するよう努めています。

上流のオープンソースコミュニティや大手テック企業、セキュリティ企業がこの問題の解決にほとんど貢献しておらず、Hugging Faceが哲学の定義と、受け入れ可能かつ実践可能な解決策を確実にするための緩和策の開発・実装に多大な投資を行っている点は重要な指摘です。

結び

本ブログの執筆にあたり、Safetensorsの作成者であるNicolas Patry氏と詳しく話し合い、AIオープンソースコミュニティおよびAI愛好家への行動喚起を追加するよう依頼されました：

  • 積極的にpickleファイルをSafetensorsに置き換えてください。前述の通り、pickleには本質的なセキュリティ上の欠陥があり、近いうちにサポートされなくなる可能性があります。
  • お気に入りのライブラリに対して、セキュリティに関するissueやPRを積極的にオープンし、セキュアなデフォルトをできる限り上流に押し上げてください。

AI業界は急速に変化しており、新たな攻撃ベクトルやエクスプロイトが常時発見されています。Hugging Faceは他に類を見ないコミュニティを有しており、セキュアなプラットフォームの維持にコミュニティの皆様と緊密に連携しています。

潜在的な法的責任や法令違反を避けるため、セキュリティ脆弱性やバグは適切なチャネルを通じて責任を持って開示してください。

議論に参加されたい方は、[email protected] までご連絡いただくか、LinkedIn/Twitterでフォローしてください。