La nuova combinazione di infrastruttura di calcolo e soluzioni software ha permesso all'IRS di implementare rapidamente e facilmente l'IA e l'apprendimento automatico su larga scala. Con Cloudera in esecuzione su GPU NVIDIA, i carichi di lavoro sono stati velocizzati immediatamente fino a 5 volte senza modifiche al codice. Ma c'era ancora spazio per i miglioramenti.
Cloudera ha chiesto a un team di scienziati dei dati NVIDIA di esaminare il codice dell'IRS. Ne è emerso che alcune attività con strutture di dati particolarmente complesse erano ancora in esecuzione sulle CPU. NVIDIA ha scritto un nuovo codice per gestire queste attività e lo ha inserito nell'interfaccia software di Spark per NVIDIA RAPIDS™, la libreria aperta per l'esecuzione dell'analisi dei dati sulle GPU.
Quando il team dell'IRS ha eseguito il nuovo codice sulle GPU in un cluster Spark distribuito, ha registrato un notevole aumento di velocità di 20 volte superiore.
Sviluppando carichi di lavoro che utilizzano Apache Spark e l'analisi dei grafici, i team di ingegneri hanno creato immensi grafici con nodi ed edge. Grazie ai bot IA e agli algoritmi di apprendimento automatico che analizzano i grafici, gli ispettore sono stati in grado di collegare gli individui alle istituzioni e, successivamente, a realtà più grandi che coprono anni e decenni. Questi insight hanno contribuito a smascherare rapidamente modelli che indicavano frodi.
Gli stessi set di dati che prima richiedevano settimane o mesi per essere raggruppati ed elaborati ora richiedono solo ore o minuti. I test hanno rivelato un miglioramento di 10 volte nei flussi di lavoro di ingegneria e scienza dei dati con una riduzione del 50 percento dei costi infrastrutturali.