Chat with RTX は、独自のコンテンツ (ドキュメント、メモ、その他のデータ) に接続された GPT 大規模言語モデル (LLM) をカスタマイズできるデモアプリです。検索拡張生成 (RAG)、TensorRT-LLM、および RTX アクセラレーションを利用して、カスタム チャットボットに質問することで、コンテキストに関連した回答を迅速に得ることができます。また、すべて Windows RTX PC またはワークステーション上のローカルで実行されるため、迅速かつ安全な結果が得られます。
ダウンロード、インストールするだけですぐにチャットが利用可能です。
プラットフォーム | Windows |
GPU | NVIDIA GeForce™ RTX 30 または 40 シリーズ GPU、VRAM 8GB 以上の NVIDIA RTX™ Ampere もしくは Ada Generation GPU |
RAM | 16GB 以上 |
OS | Windows 11 |
ドライバー | 535.11 以降 |
フルサイズ | 35GB |
Chat With RTX は、テキスト、PDF、doc/docx、xml などのさまざまなファイル形式をサポートしています。アプリケーションでファイルを含むフォルダーを指定するだけで、数秒以内にファイルがライブラリにロードされます。
Chat With RTX 技術デモは、github. から入手できる TensorRT-LLM RAG 開発者リファレンス プロジェクトから構築されています。開発者はそのリファレンスを使用して、TensorRT-LLM によって高速化された RTX 用の独自の RAG ベース アプリケーションを開発および実行することができます。
GeForce RTX™ と NVIDIA RTX™ GPU で新たなレベルの AI パフォーマンスを手に入れよう。クリエイティブ制作やワークフローの強化から驚異的な速さのゲーミングなど、RTX が Windows PC に究極の AI パワーを提供します。
NVIDIA の生成 AI 開発者ツールと企業向けソリューションをご覧ください。