Accelerare Apache Spark™ 3

Utilizzare le GPU NVIDIA per alimentare la nuova era dell'analisi e dell'IA

GPU-accelerated libraries, DataFrame and APIs:

Layered on top of NVIDIA CUDA, RAPIDS is a suite of open-source software libraries and APIs that provide GPU parallelism and high-bandwidth memory speed through DataFrame and graph operations, achieving speedup factors of 50x or more on typical end-to-end data science workflows. For Spark 3.0, new RAPIDS APIs are used by Spark SQL and DataFrames for GPU accelerated memory efficient columnar data processing and query plans.
With Spark 3.0 the Catalyst query optimizer has been modified to identify operators within a query plan that can be accelerated with the RAPIDS API, and to schedule those operators on GPUs within the Spark cluster, when executing the query plan.
A new Spark shuffle implementation, built upon GPU accelerated communication libraries including Remote direct memory access (RDMA), dramatically reduces the data transfer among Spark processes. RDMA allows GPUs to communicate directly with each other, across nodes, at up to 100Gb/s, operating as if on one massive server.

GPU-aware Scheduling in Spark

Spark 3.0 adds integration with the cluster managers (YARN, Kubernetes, and Standalone) to request GPUs, and plugin points to allow it to be extended to run operations on the GPU. This makes GPUs easier to request and use for Spark application developers, allows for closer integration with deep learning and AI frameworks such as Horovod and TensorFlow on Spark, and allows for better utilization of GPUs.

Apache Spark™ è un potente motore di esecuzione per l'elaborazione parallela dei dati su larga scala e su cluster di macchine, che consente lo sviluppo rapido delle applicazioni e prestazioni elevate.

In questo e-book scopri come le innovazioni di Spark 3 consentono di utilizzare la potente architettura parallela delle GPU per accelerare ulteriormente l'elaborazione dei dati Spark.

Compila il modulo sotto per scaricare l'e-book e saperne di più:

L'evoluzione dell'elaborazione dati, da Hadoop alle GPU e la libreria NVIDIA RAPIDS™
Spark: cos'è, come funziona e perché è importante
Accelerazione GPU in Spark
DataFrames e Spark SQL
Esempio di regressione su Spark con classificazione foresta casuale
Esempio di flusso di lavoro completo di machine learning accelerato da GPU con XGBoost

SCARICA ORA

Section

Section

Nome

Cognome

Indirizzo email aziendale

Nome organizzazione/università

Settore

Qualifica

Località

Lingua preferita

enterpriseOptIns hidden field

developerOptIns hidden field

Voglio ricevere le ultime notizie, gli annunci e altre comunicazioni da NVIDIA sulle soluzioni aziendali Enterprise.

Voglio ricevere le ultime notizie, gli annunci e altre comunicazioni da NVIDIA su tecnologia e strumenti per sviluppatori.

Voglio ricevere le ultime notizie, gli annunci e altre comunicazioni da NVIDIA sulle soluzioni aziendali Enterprise e su tecnologia e strumenti per sviluppatori.

Voglio ricevere le ultime notizie, gli annunci e altre comunicazioni da NVIDIA su:

Soluzioni aziendali

Tecnologia e strumenti per gli sviluppatori

(facoltativo). Potrai annullare l'iscrizione in qualsiasi momento.

Informativa sulla privacy NVIDIA

Acconsento alla raccolta e al trattamento delle suddette informazioni da parte di NVIDIA <span class="corporation-txt hidden">Corporation </span>ai fini della ricerca e dell'organizzazione di eventi, dichiaro di aver letto e accettato l'<a href="https://www.nvidia.com/it-it/about-nvidia/privacy-policy/?deeplink=visiting-our-website" target="_blank">Informativa sulla privacy NVIDIA</a>.

Accetto che le informazioni di cui sopra vengano trasferite a NVIDIA Corporation negli Stati Uniti e archiviate in conformità all'<a href="https://www.nvidia.com/it-it/about-nvidia/privacy-policy/?deeplink=visiting-our-website" target="_blank">Informativa sulla privacy NVIDIA</a> per esigenze di ricerca, organizzazione di eventi e relative esigenze di gestione interna di NVIDIA e funzionamento del sistema. Puoi contattarci inviando un'email all'indirizzo <a href="mailto:privacy@nvidia.com">privacy@nvidia.com</a> per risolvere eventuali problemi correlati.