記事に戻る

Jeff Boudier's avatar

Philipp Schmid's avatar

thumbnail

AWS Inferentia2 は、Amazon Web Servicesの Amazon EC2 Inf2インスタンス を通じて利用可能な最新のAWS機械学習チップです。AIワークロード向けにゼロから設計されたInf2インスタンスは、本番ワークロードに対して優れたパフォーマンスとコスト/パフォーマンスを提供します。

私たちは1年以上にわたり、AWSの製品およびエンジニアリングチームと協力し、AWS TrainiumおよびInferentiaチップのパフォーマンスとコスト効率をHugging Faceユーザーに提供できるようにしてきました。当社のオープンソースライブラリ optimum-neuron により、これらのアクセラレータ上でHugging Faceモデルを簡単にトレーニングおよびデプロイできます。当社の取り組みについては、transformersの高速化、大規模言語モデル、text-generation-inference（TGI）に関する記事をご覧ください。

本日、Inferentia2の力をHugging Face Hubユーザーに直接かつ幅広く提供します。

Amazon SageMakerでAWS Inferentia2上の10万以上のモデルを有効化

数ヶ月前、SageMaker上で大規模言語モデル（LLM）をデプロイする新しい方法を導入し、Metaの Llama 3 のようなサポート対象モデル向けに新しいInferentia/Trainiumオプションを提供しました。SageMaker上のInferentia2インスタンスにLlama3モデルをデプロイすることで、大規模な推論を提供し、モデルの構築とファインチューニング、MLOps、ガバナンスのためのSageMakerの完全なマネージド機能のセットを活用できます。

catalog

本日、このデプロイ体験のサポートをHugging Faceで利用可能な10万以上の公開モデルに拡大し、14の新しいモデルアーキテクチャ（albert、bert、camembert、convbert、deberta、deberta-v2、distilbert、electra、roberta、mobilebert、mpnet、vit、xlm、xlm-roberta）と6つの新しい機械学習タスク（text-classification、text-generation、token-classification、fill-mask、question-answering、feature-extraction）を追加しました。

以下の簡単なコードスニペットに従うことで、AWSのお客様はAmazon SageMakerのInferentia2インスタンスにモデルを簡単にデプロイできます。

Hugging Face Inference EndpointsがAWS Inferentia2のサポートを導入

Hubからモデルをデプロイする最も簡単な方法は、Hugging Face Inference Endpoints です。本日、Hugging Face Inference Endpoints向けに新しいInferentia 2インスタンスを導入できることを嬉しく思います。これにより、Hugging Faceで興味のあるモデルを見つけた場合、数クリックでInferentia2上にデプロイできるようになりました。必要なのは、デプロイしたいモデルを選択し、Amazon Web Servicesインスタンス設定の下で新しいInf2インスタンスオプションを選択するだけです。

Llama 3のようなサポート対象モデルでは、2つのフレーバーを選択できます：

  • Inf2-small：2コア、32 GBメモリ（$0.75/時間） - Llama 3 8Bに最適
  • Inf2-xlarge：24コア、384 GBメモリ（$12/時間） - Llama 3 70Bに最適

Hugging Face Inference Endpointsは、使用した容量の秒単位で課金され、レプリカのオートスケーリングによりコストが上昇し、スケールトゥゼロによりゼロまで低下します。どちらも簡単な設定で自動化および有効化されています。

catalog

Inference Endpointsは Text Generation Inference for Neuron（TGI）を使用して、AWS Inferentia上でLlama 3を実行します。TGIは、本番ワークロード向けに大規模言語モデル（LLM）を大規模にデプロイおよび提供するための専用ソリューションで、連続バッチ処理、ストリーミングなどをサポートしています。さらに、Text Generation InferenceでデプロイされたLLMはOpenAI SDK Messages APIと互換性があるため、すでにLLMと統合されたGen AIアプリケーションをお持ちの場合、アプリケーションのコードを変更する必要はなく、Hugging Face Inference Endpointsでデプロイされた新しいエンドポイントを指すだけです。

Inferentia2上にエンドポイントをデプロイした後、UIで提供されるウィジェットまたはOpenAI SDKを使用してリクエストを送信できます。

今後の予定

私たちは、Hugging Face Inference EndpointsでAWS Inferentia2上のデプロイに対応するモデルの範囲を拡大するために取り組んでいます。次に、DiffusionモデルとEmbeddingモデルのサポートを追加し、AWS Inferentia2の高速化とHugging Face Inference Endpointsの使いやすさを活用して画像生成やセマンティック検索、レコメンデーションシステムを構築できるようにしたいと考えています。

さらに、Neuronx上のText Generation Inference（TGI）のパフォーマンス向上に取り組み、オープンソースライブラリにおいてAWS Inferentia 2上のより高速で効率的なLLMデプロイメントを確保していきます。これらのアップデートにご期待ください。引き続き機能の強化とデプロイ体験の最適化に努めます！