記事一覧に戻る

この記事は中国語版もご利用いただけます 简体中文.

Update (November 2024): The integration is no longer available. Please switch to the Hugging Face Inference API, Inference Endpoints, or other deployment options for your AI model needs.

本日、Hugging Face Hubに新しい統合機能「Deploy on Cloudflare Workers AI」をリリースすることを発表できることを嬉しく思います。Deploy on Cloudflare Workers AIは、Cloudflareのエッジデータセンターに展開された最先端のGPUによって駆動されるサーバーレスAPIとして、オープンモデルを簡単に利用できるようにします。今日から、Hugging Faceで最も人気のあるオープンモデルの一部を、Text Generation Inferenceのような本番環境向けソリューションによって駆動されるCloudflare Workers AIに統合します。

Deploy on Cloudflare Workers AIにより、開発者はGPUインフラストラクチャやサーバーを管理することなく、堅牢な生成AIアプリケーションを構築でき、運用コストも非常に低く抑えられます。アイドル容量ではなく、使用したコンピュート分のみを支払うだけです。

開発者向け生成AI

この新しい体験は、オープンな生成AIモデルのアクセスとデプロイを簡素化するために昨年発表した戦略的パートナーシップをさらに拡大するものです。開発者や組織が直面する主な課題の一つは、GPUリソースの不足と、構築開始に伴うサーバーの固定費です。Deploy on Cloudflare Workers AIは、リクエストごとの従量課金制で人気のHugging Faceモデルへのサーバーレスアクセスを提供し、これらの課題に対する簡単で低コストな解決策を提供します。

具体的な例を見てみましょう。1日あたり約1000リクエストがあり、入力1kトークン、出力100トークンでMeta Llama 2 7Bを使用するRAGアプリケーションを開発しているとします。LLM推論の本番コストは1日あたり約1ドルになります。

cloudflare pricing

「この統合をこれほど早く実現できたことを嬉しく思います。CloudflareのグローバルなサーバーレスGPUネットワークの力を、Hugging Faceで最も人気のあるオープンソースモデルと組み合わせ、開発者の手に届けることで、世界中のコミュニティによる多くのエキサイティングなイノベーションの扉が開かれるでしょう」と、Cloudflare CTOのJohn Graham-Cumming氏は述べています。

仕組み

Cloudflare Workers AIでHugging Faceモデルを使用するのは非常に簡単です。以下に、Nous Researchの最新モデルであるHermes 2 Pro on Mistral 7Bを使用するためのステップバイステップの手順をご紹介します。

利用可能なすべてのモデルは、こちらのCloudflare Collectionでご覧いただけます。

注: CloudflareアカウントとAPIトークンへのアクセスが必要です。

Llama、Gemma、Mistralなどのモデルを含む、利用可能なすべてのモデルページで「Deploy on Cloudflare」オプションを見つけることができます。

model card

「Deploy」メニューを開き、「Cloudflare Workers AI」を選択すると、このモデルの使用方法とリクエストの送信方法を含むインターフェースが開きます。

注: 使用したいモデルに「Cloudflare Workers AI」オプションがない場合は、現在サポートされていません。Cloudflareと協力してモデルの提供範囲を拡大しています。ご要望は[email protected]までお問い合わせください。

inference snippet

この統合は現在、Workers AI REST APIを使用するか、Cloudflare AI SDKを使用してWorkers内で直接利用する2つの方法で使用できます。希望するオプションを選択し、コードを環境にコピーしてください。REST APIを使用する場合は、ACCOUNT_IDとAPI_TOKEN変数が定義されていることを確認する必要があります。

これで完了です！Cloudflare Workers AIでホストされているHugging Faceモデルへのリクエストの送信を開始できます。モデルが期待する正しいプロンプトとテンプレートを使用してください。

これからが本番

AIを開発者にとってより身近なものにするためにCloudflareと協力できることを嬉しく思います。Cloudflareチームと協力して、より多くのモデルと体験を皆様にご提供できるよう取り組んでまいります！