NVIDIA TensorRT 7 のコンパイラを活用したリアルタイム推論により、よりスマートなヒューマン コンピュータ インタラクションを実現
2019 年 12 月 18 日、中国蘇州 — GTC China — NVIDIA は、あらゆる場所の開発者が対話型 AI アプリケーションを実現するために使用できる画期的な推論ソフトウェアを発表しました。これまで真のインタラクティブなエンゲージメントの実現を妨げていた推論の遅延を大幅に削減します。
NVIDIA の第 7 世代の推論ソフトウェア開発キットである NVIDIA TensorRT™ 7 は、よりスマートなヒューマン コンピュータ インタラクションの時代の扉を開くもので、音声エージェントやチャットボット、レコメンド エンジンといったアプリケーションを使った、リアルタイムのエンゲージメントを可能にします。
Juniper Research によれば、全世界のデバイスで 32 億 5,000 万のデジタル音声アシスタントが使用されていると推定されています。2023 年までには、その数が 80 億に達し、世界の総人口を上回るようになると予想されています。
TensorRT 7 は、AI 音声アプリケーションに必要な複雑さが増す一方のリカレントやトランスフォーマー ベースのニューラル ネットワークを自動的に最適化および高速化するように設計された、新しいディープラーニング コンパイラを特長としています。これにより、対話型 AI の各コンポーネントが、CPU で実行される場合と比較して10 倍以上高速化し、遅延がリアルタイム インタラクションに必要と考えられている 300 ミリ秒のしきい値を下回ります。
GTC China の基調講演にて、NVIDIA の創業者/CEO であるジェンスン フアン (Jensen Huang) は、次のように述べています。「私たちは AI の新しい章を迎えました。機械が人間の言語をリアルタイムで理解する能力を持つようになります。TensorRT 7 により、これが実現され、より自然に人間と AI とのやり取りを可能にする、より高速でよりスマートな対話型 AI サービスを構築し展開するためのツールを世界中の開発者に提供します。」
世界で最大規模の、最も革新的な企業のいくつかは、NVIDIA の対話型 AI アクセラレーション機能をすでに活用しています。そのような企業の 1 つが Sogou (捜狗) です。同社は、世界で最も多く使用されている携帯電話アプリケーションである WeChat に検索サービスを提供しています。
Sogou の CTO であるヤン ホンタオ (Yang Hongtao) 氏は、次のように述べています。「Sogou は、音声、画像、翻訳、対話および Q&A といった高品質な AI サービスを数億人のユーザーに毎日提供しています。NVIDIA TensorRT の推論プラットフォームを採用することにより、当社はオンライン サービスでの応答をリアルタイムでできるようになります。これらの先進的な AI 機能により、当社のユーザー体験が大幅に向上しました。」
リカレント ニューラル ネットワークの重要度が増大
TensorRT 7 は、RNN と呼ばれる再帰ループ構造を使った、時系列的なシーケンス データのシナリオを予測するために使われる AI モデルの世界の発展を加速します。RNN は、対話型 AI の音声ネットワークだけでなく、自動車または衛星の到着時間計画、電子医療記録のイベント予測、金融資産予想および不正検知にも利用できます。
RNN の構成と機能の組み合わせが爆発的に増えているため、リアルタイム性能の基準を満たしたプロダクション コードを迅速に展開するという課題も生まれており、開発者が手書きのコードを最適化しなければならないために、数か月の遅れが出る場合もあります。その結果、対話型 AI の利用は、必要な人材を持つ少数の企業だけに限られてきました。
TensorRT の新しいディープラーニング コンパイラを使うと、あらゆる開発者が独自の自動音声認識ネットワークや、テキストから音声への変換のための WaveRNN や Tacotron 2 といったネットワークを自動的に最適化できるようになり、最高の性能と最小の遅延を実現する力を手に入れられます。
この新しいコンパイラにより、自然言語処理のための BERT のようなトランスフォーマー ベースのモデルも最適化できるようになります。
エッジからクラウドまで、推論を加速
TensorRT 7 により、トレーニング済みのニューラル ネットワークを短期間で最適化、検証および展開可能になるので、ハイパースケール データセンター、組み込みまたは単体の GPU プラットフォームで推論を行えるようになります。
NVIDIA の推論プラットフォームには、TensorRT、複数の NVIDIA CUDA-X AI™ ライブラリ および NVIDIA GPU が含まれており、画像分類や不正検知、セグメンテーション、物体検知、レコメンド エンジンといった対話型 AI 以外のアプリケーションにも、低遅延かつ高スループットの推論を実現します。その機能は、Alibaba や American Express、Baidu、PayPal、Pinterest、Snap、Tencent、Twitter といった、世界のいくつかの大手エンタープライズおよび消費者向けテクノロジ企業で、広く利用されています。
利用方法
TensorRT 7 は今後数日のうちに NVIDIA 開発者プログラムのメンバーに TensorRT ウェブページを通じて、無償で提供され、開発およびデプロイメントに利用できるようになります。最新バージョンのプラグイン、パーサーおよびサンプルは、TensorRT GitHub リポジトリよりオープンソースとして入手することもできます。
NVIDIA について
1999 年における NVIDIA (NASDAQ 表示: NVDA) による GPU の発明は、PC ゲーミング市場の成長に爆発的な拍車をかけ、現代のコンピューター グラフィックスを再定義し、並列コンピューティングに革命的変化を起こしました。最近では、GPU ディープラーニングが最新の AI (次世代コンピューティング) に火をつけ、世界を知覚し理解することができるコンピューター、ロボット、自律走行車の脳として GPU は機能しています。詳細は、こちらのリンクから: www.nvidia.com/ja-jp/