より速く、より正確な AI 推論

NVIDIA NIM は、クラウド、データ センター、ワークステーションを問わず、生成 AI を短時間で展開するように設計された、使いやすいソフトウェアです。

NVIDIA Triton Inference Server はオープンソースの推論用ソフトウェアであり、企業がカスタムメイドの AI モデル サービス インフラストラクチャを統合したり、新しい AI モデルを本番環境に展開する時間を短縮したり、AI 推論/予測のキャパシティを増やしたりできます。

NVIDIA TensorRT は高性能推論のためにレイテンシを減らし、スループットを増やします。NVIDIA TensorRT-LLM、推論のために大規模言語モデル (LLM) を定義、最適化、実行するためのオープンソース ライブラリと Python API、お使いのモデルとターゲット GPU に合わせて TensorRT エンジンを最適化する Web サービスである NVIDIA TensorRT Cloud が含まれます。

H100 は NVIDIA のアクセラレーテッド コンピューティング データ センター プラットフォームにおける次の大きな飛躍をもたらします。あらゆるデータ センターで、エンタープライズの小さなワークロードからエクサスケールの HPC や無数のパラメーターを持つ AI まで、多様なワークロードを安全に加速します。

NVIDIA のフルスタックの推論サーバー ソフトウェアと L40S GPU を組み合わせることで、学習済みモデルですぐに推論できるパワフルなプラットフォームになります。スパース構造と幅広い精度に対応している L40S では、推論パフォーマンスが NVIDIA A100 Tensor コア GPU の最大 1.7 倍になります。

L4 は、動画、AI、ビジュアル コンピューティング、グラフィックス、仮想化などを費用対効果とエネルギー効率に優れた方法で等しく高速化します。GPU は CPU ベースのソリューションに比べて AI 動画のパフォーマンスが 120 倍になり、企業は洞察をリアルタイムで得られることでコンテンツを利用者一人ひとりに合わせたり、検索の関連性を高めたりすることができます。