AWS は LILT と NVIDIA GPU を活用し、1 分あたり最大 150,000 語の翻訳スループットを達成しました (4 つの言語でベンチマーク)。AWS での展開は、オンプレミスで可能なものをはるかに超えるスケーリングをサポートします。拡張性の優れた GPU リソースは、ピーク時のスループットを容易に向上させます。つまり、キューが処理されるまでエンド ユーザーが待たされることはありません。また、すべてのミッションに適切なサポートとリソースが与えられます。
この結果を達成するために、LILT は NVIDIA A100 Tensor コア GPU でモデル トレーニングを高速化し、NVIDIA T4 Tensor コア GPU でモデル推論を高速化しました。NeMo で開発されたモデルを使用することで、LILT のプラットフォームでは、CPU で実行される同等のモデルと比較し、推論性能において最大 30 倍の文字スループット向上を実現することができます。さらに、NVIDIA AI プラットフォームにより、LILT はレイテンシだけでなく品質も大幅に改善しながらモデル サイズを 5 倍に拡張することができます。
NeMo は NVIDIA AI Enterprise の一部として含まれており、高速化された AI ソフトウェアを構築し展開する企業向けに、本番環境レベルで安全なエンドツーエンドのソフトウェア プラットフォームを提供します。
LILT の適応型機械学習モデルはコンテンツがレビューされ、言語専門家が情報をインプットすることで常に改善されます。それがその後、モデルのファインチューニングのためのトレーニング データとして活用されます。この継続的なコンテキスト強化の結果として、LILT の動的ツールは、ソーシャル メディアやその他の重要なコンテンツ ソースにおいて、絶えず変化する口語表現に対応します。LILT はまた、言語専門家向け、非言語専門家向けのアプリケーションでも等しく、多面的ワークフローを導入しています。各チームが自主的に作業し、固有のスキルセットを最大限に活用することで、時間が重要な状況で効率性を極めることを可能にします。
LILT を活用し、自社のビジネスと顧客体験を改善している企業は他にもあります。詳細をご覧ください。