Accélération d’Apache Spark™ 3

Entrez dans la nouvelle ère de l’analyse de données et de l'IA grâce aux GPU NVIDIA

GPU-accelerated libraries, DataFrame and APIs:

Layered on top of NVIDIA CUDA, RAPIDS is a suite of open-source software libraries and APIs that provide GPU parallelism and high-bandwidth memory speed through DataFrame and graph operations, achieving speedup factors of 50x or more on typical end-to-end data science workflows. For Spark 3.0, new RAPIDS APIs are used by Spark SQL and DataFrames for GPU accelerated memory efficient columnar data processing and query plans.
With Spark 3.0 the Catalyst query optimizer has been modified to identify operators within a query plan that can be accelerated with the RAPIDS API, and to schedule those operators on GPUs within the Spark cluster, when executing the query plan.
A new Spark shuffle implementation, built upon GPU accelerated communication libraries including Remote direct memory access (RDMA), dramatically reduces the data transfer among Spark processes. RDMA allows GPUs to communicate directly with each other, across nodes, at up to 100Gb/s, operating as if on one massive server.

GPU-aware Scheduling in Spark

Spark 3.0 adds integration with the cluster managers (YARN, Kubernetes, and Standalone) to request GPUs, and plugin points to allow it to be extended to run operations on the GPU. This makes GPUs easier to request and use for Spark application developers, allows for closer integration with deep learning and AI frameworks such as Horovod and TensorFlow on Spark, and allows for better utilization of GPUs.

Puissant moteur d’exécution pour le traitement parallèle de gros volumes de données sur différents clusters de machines, Apache Spark™ permet d’accélérer le développement d’applications grâce à des performances de calcul élevées.

Cet eBook vous dévoile comment les innovations technologiques intégrées à Spark 3 vous permettent de mettre en œuvre l’architecture massivement parallèle des GPU pour accélérer le traitement des données Spark.

Remplissez le formulaire ci-dessous pour télécharger notre eBook et obtenir davantage d'informations sur :

L’évolution du traitement des données, de Hadoop aux GPU en passant par la bibliothèque logicielle NVIDIA RAPIDS™
La structure, le fonctionnement et les avantages de Spark
L’accélération GPU de Spark
Les données DataFrame et le module Spark SQL
Exemple de régression sous Spark avec un classificateur de forêts aléatoires
Exemple d’un workflow d’apprentissage automatique de bout en bout accéléré par GPU avec XGBoost

TÉLÉCHARGER

Section

Section

Prénom

Nom

Adresse e-mail professionnelle

Nom d’organisation ou d’université

Industrie

Intitulé du poste

Pays

Langue

enterpriseOptIns hidden field

developerOptIns hidden field

Envoyez-moi les dernières informations et annonces liées aux solutions commerciales NVIDIA d’entreprise.

Envoyez-moi les dernières informations et annonces liées aux technologies et outils NVIDIA pour les développeurs.

Envoyez-moi les dernières informations et annonces liées aux solutions commerciales NVIDIA d’entreprise et aux technologies et outils NVIDIA pour les développeurs.

Envoyez-moi les dernières informations et annonces liées aux solutions NVIDIA pour :

Solutions d'entreprise

Technologie et outils du développeur

(En option.) Vous pouvez vous désabonner à tout moment.

Déclaration de confidentialité de NVIDIA

Je consens à la collecte et au traitement des informations ci-dessus par NVIDIA <span class="corporation-txt hidden">Corporation </span>à des fins de recherche et d'organisation d'événements, et j'ai lu et j'accepte la <a href="https://www.nvidia.com/fr-fr/about-nvidia/privacy-policy/?deeplink=visiting-our-website" target="_blank">Déclaration de confidentialité de NVIDIA</a>.

J'accepte que les informations ci-dessus soient transférées à NVIDIA Corporation aux États-Unis et stockées conformément à la <a href="https://www.nvidia.com/fr-fr/about-nvidia/privacy-policy/?deeplink=visiting-our-website" target="_blank">Déclaration de confidentialité de NVIDIA</a> en raison des nécessités de recherche et d'organisation d'événements de NVIDIA ainsi que des besoins afférents en matière de gestion interne et d'exploitation du système. Vous pouvez nous contacter en envoyant un e-mail à l’adresse <a href="mailto:privacy@nvidia.com">privacy@nvidia.com</a> afin de résoudre tout problème associé.