Apache Spark™ 3 の高速化

NVIDIA GPU を活用した次世代の分析と AI の強化

GPU-accelerated libraries, DataFrame and APIs:

Layered on top of NVIDIA CUDA, RAPIDS is a suite of open-source software libraries and APIs that provide GPU parallelism and high-bandwidth memory speed through DataFrame and graph operations, achieving speedup factors of 50x or more on typical end-to-end data science workflows. For Spark 3.0, new RAPIDS APIs are used by Spark SQL and DataFrames for GPU accelerated memory efficient columnar data processing and query plans.
With Spark 3.0 the Catalyst query optimizer has been modified to identify operators within a query plan that can be accelerated with the RAPIDS API, and to schedule those operators on GPUs within the Spark cluster, when executing the query plan.
A new Spark shuffle implementation, built upon GPU accelerated communication libraries including Remote direct memory access (RDMA), dramatically reduces the data transfer among Spark processes. RDMA allows GPUs to communicate directly with each other, across nodes, at up to 100Gb/s, operating as if on one massive server.

GPU-aware Scheduling in Spark

Spark 3.0 adds integration with the cluster managers (YARN, Kubernetes, and Standalone) to request GPUs, and plugin points to allow it to be extended to run operations on the GPU. This makes GPUs easier to request and use for Spark application developers, allows for closer integration with deep learning and AI frameworks such as Horovod and TensorFlow on Spark, and allows for better utilization of GPUs.

Apache Spark™ は、マシンのクラスターで展開する大規模な並列データ処理のためのパワフルな実行エンジンです。迅速なアプリケーション開発とハイパフォーマンスを可能にします。

この ebook では、Spark 3 のイノベーションにより、GPU の大規模な並列アーキテクチャを利用して Spark のデータ処理をさらに高速化する方法を学ぶことができます。

以下のフォームに入力して ebook をダウンロードすると、以下のことについて学んでいただけます:

Hadoop から GPU、NVIDIA RAPIDS™ ライブラリに至る、データ処理の進化
Spark とは何か、何ができるのか、なぜそれが重要なのか
Spark における GPU アクセラレーション
DataFrames、および Spark SQL
Random Forest 分類を使用した Spark Regression の例
XGBoost による GPU アクセラレーションが行われたエンドツーエンドの機械学習ワークフローの例

今すぐダウンロードする

Section

Section

名

姓

仕事用メールアドレス

勤務先の電話番号

組織名/大学名

業種

肩書

居住地域

希望の言語

enterpriseOptIns hidden field

developerOptIns hidden field

NVIDIA からエンタープライズ向けビジネスソリューションに関する最新情報やお知らせなどを受け取る。

NVIDIA から開発者向けテクノロジ & ツールに関する最新情報やお知らせなどを受け取る。

NVIDIA からエンタープライズビジネスソリューションと開発者向けテクノロジ & ツールに関する最新情報やお知らせなどを受け取る。

NVIDIA から最新ニュース、お知らせ等を受け取る:

企業向けビジネスソリューション

開発者向けテクノロジ & ツール

(任意) 配信停止はいつでも可能です。

NVIDIA プライバシーポリシー

私は、NVIDIA <span class="corporation-txt hidden">Corporation </span>が調査およびイベントの開催を目的として上記情報を収集し処理することに同意し、<a href="https://www.nvidia.com/ja-jp/about-nvidia/privacy-policy/?deeplink=visiting-our-website" target="_blank">NVIDIA プライバシーポリシー</a>を読み、同意します。

私は、上記の情報が、調査、イベント開催、および、対応する NVIDIA の内部管理およびシステム運用の必要性のために、米国の NVIDIA Corporation に転送され、<a href="https://www.nvidia.com/ja-jp/about-nvidia/privacy-policy/?deeplink=visiting-our-website" target="_blank">NVIDIA プライバシーポリシー</a>に合致した方法で保存されることに同意します。関連する問題を解決するために、<a href="mailto:privacy@nvidia.com">privacy@nvidia.com</a> 宛てにメールで問い合わせることができます。