This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

NVIDIA A30 Tensor-Core-GPU

Vielseitige Rechenbeschleunigung für Mainstream-Enterprise-Server.

Weitere Informationen

KI-Inferenz und Mainstream-Computing für jedes Unternehmen

Steigern Sie die Leistung für jeden Enterprise-Workload mit der NVIDIA A30 Tensor-Core-GPU. Mit der NVIDIA Ampere-Architektur-Tensor-Cores und Multi-Instanz-GPU (MIG) sind hohe Geschwindigkeiten sicher über verschiedene Workloads hinweg möglich, einschließlich KI-Inferenz im großen Maßstab und Hochleistungs-Computing(HPC)-Anwendungen. Durch die Kombination schneller Speicherbandbreite und geringen Stromverbrauchs im PCIe-Formfaktor – optimal für Mainstream-Server – ermöglicht die A30 ein flexibles Rechenzentrum und bietet maximalen Nutzen für Unternehmen.

Datenblatt für NVIDIA A30 ansehen (PDF 708 KB)

Produktübersicht für A30 PCIe ansehen (PDF 539 KB)

Die Rechenzentrumslösung für moderne IT

Die NVIDIA Ampere-Architektur ist Teil der vereinheitlichten NVIDIA EGX™-Platform, die Bausteine für Hardware, Netzwerke, Software, Bibliotheken und optimierte KI-Modelle sowie -Anwendungen aus dem NVIDIA NGC™-Katalog enthält. Sie repräsentiert die leistungsstärkste End-to-End-KI- und HPC-Plattform für Rechenzentren und ermöglicht es Forschern, realistische Ergebnisse schnell zu liefern und Lösungen in der entsprechenden Größenordnung bereitzustellen.

Deep Learning-Training

KI-Training – Bis zu 3-mal höherer Durchsatz als v100 und 6-mal höher als T4

BERT Großes Vortraining (normalisiert)

NVIDIA A30 Tensor-Cores mit Tensor Float (TF32)

ERT-Large Pre-Training (9/10 epochs) Phase 1 and (1/10 epochs) Phase 2, Sequence Length for Phase 1 = 128 and Phase 2 = 512, dataset = real, NGC™ container = 21.03,

8x GPU: T4 (FP32, BS=8, 2) | V100 PCIE 16GB (FP32, BS=8, 2) | A30 (TF32, BS=8, 2) | A100 PCIE 40GB (TF32, BS=54, 8) | angegebenen Batchgrößen gelten jeweils für Phase 1 bzw. Phase 2

Das Training von KI-Modellen für Herausforderungen der nächsten Ebene wie Gesprächs-KI erfordert enorme Rechenleistung und Skalierbarkeit.

Die Tensor Cores der NVIDIA A30 mit Tensor Float(TF32)-Präzision bieten bis zu 10-mal mehr Leistung gegenüber NVIDIA T4, erfordern dafür keine Code-Änderungen und bieten einen zusätzlichen 2-fachen Boost mit automatischer gemischter Präzision und FP16, wodurch ein 20-mal höherer gemischter Durchsatz möglich ist. In Kombination mit NVIDIA^® NVLink^®, PCIe Gen4, NVIDIA Mellanox^®-Networking und dem NVIDIA Magnum IO™-SDK ist die Skalierung auf Tausende A100-Grafikprozessoren möglich.

Tensor-Cores und MIG ermöglichen die dynamische Verwendung von A30 für Workloads im Laufe des gesamten Tages. Es kann für Produktionsinferenz bei Spitzenbedarf verwendet werden und ein Teil der GPU kann umfunktioniert werden, um genau diese Modelle außerhalb der Spitzenzeiten schnell umzutrainieren.

NVIDIA stellte mehrere Leistungsrekorde in MLPerf auf, dem branchenweiten Benchmark für KI-Training.

Weitere Informationen zur NVIDIA Ampere-Architektur zum Training

Inferenz für Deep Learning

Mit der A30 werden bahnbrechende Funktionen zur Optimierung von Inferenzworkloads genutzt. Sie beschleunigt ein breites Spektrum von Präzisionen, von FP64 über TF32 bis hin zu INT4. Mit der Unterstützung von bis zu vier MIGs pro GPU ermöglicht die A30 den gleichzeitigen Betrieb mehrerer Netzwerke in sicheren Hardwarepartitionen mit garantierter Quality of Service (QoS). Zusätzlich zu den anderen Inferenzleistungssteigerungen der A30 bietet die strukturelle geringe Dichte bis zu 2-mal mehr Leistung.

Bei hochmodernen Gesprächs-KI-Modellen beschleunigt die A30 den Echtzeit-Inferenzdurchsatz um das 3-Fache gegenüber der NVIDIA V100 Tensor-Core-GPU der vorherigen Generation.

Bei der Echtzeit-Bildklassifizierung (die eine Latenz von <7 ms erfordert) beschleunigt die A30 den Durchsatz um das 7-Fache im Vergleich zu NVIDIA T4.

NVIDIA bewies marktführende KI-Leistung bei der Inferenz in MLPerf. In Kombination mit NVIDIA Triton™ Inference Server, der KI problemlos in großem Maßstab bereitstellt, ermöglicht die A30 diese bahnbrechende Leistung für jedes Unternehmen.

Weitere Informationen zur NVIDIA Ampere-Architektur für Inferenz

KI-Inferenz – Bis zu 3-mal höherer Durchsatz als V100 bei Gesprächs-KI in Echtzeit

BERT große Inferenz (normalisiert)
Durchsatz für < 10 ms Latenz

NVIDIA^® TensorRT^®, Precision = INT8, Sequence Length = 384, NGC Container 20.12, Latenz <10ms, Dataset = Synthetic 1x GPU: A100 PCIe 40GB (BS=8) | A30 (BS=4) | V100 SXM2 16GB (BS=1) | T4 (BS=1)

KI-Inferenz – Mehr als 3-mal höherer Durchsatz als T4 bei Bildklassifizierung in Echtzeit

RN50 v1.5 Inferenz (normalisiert)
Durchsatz für < 7 ms Latenz

TensorRT, NGC Container 20.12, Latenz <7ms, Dataset=Synthetic, 1x GPU: T4 (BS=31, INT8) | V100 (BS=43, Mixed precision) | A30 (BS=96, INT8) | A100 (BS=174, INT8)

High-Performance Computing

HPC – Bis zu 1,1-mal höherer Durchsatz als V100 und 8-mal höher als T4

LAMMPS (normalisiert)

NVIDIA A30 verfügt über doppelte Präzision (FP64)

Datensatz: ReaxFF/C, FP64 | 4 x GPU: T4, V100 PCIE 16 GB, A30

Um die nächste Generation der Entdeckungen zu erschließen, betrachten Wissenschaftler Simulationen, um die Welt um uns herum besser zu verstehen.

Die NVIDIA A30 verfügt über FP64 NVIDIA Ampere-Architektur-Tensor-Cores, die den größten Sprung in der HPC-Leistung seit der Einführung von GPUs bieten. Kombiniert mit 24 Gigabyte (GB) GPU-Speicher mit einer Bandbreite von 933 Gigabyte pro Sekunde (GB/s) können Forscher schnell Berechnungen mit doppelter Genauigkeit lösen. HPC-Anwendungen können zudem TF32 nutzen und erreichen so einen höheren Durchsatz bei dichten Matrixmultiplikationsaufgaben mit einfacher Genauigkeit.

Die Kombination aus FP64-Tensor-Cores und MIG ermöglicht es Forschungseinrichtungen, die GPU sicher zu partitionieren, um mehreren Forschern Zugriff auf Rechenressourcen mit garantiertem QoS und maximaler GPU-Auslastung zu ermöglichen. Unternehmen, die KI bereitstellen, können die Inferenzfunktionen der A30 während Spitzenbedarfszeiten nutzen und dann dieselben Computingserver für HPC- und KI-Trainingsworkloads außerhalb der Spitzenzeiten verwenden.

Weitere Informationen zur NVIDIA Ampere-Architektur für HPC

Leistungsstarke Datenanalyse

Datenwissenschaftler müssen dazu in der Lage sein, umfangreiche Datensätze zu analysieren, zu visualisieren und Erkenntnisse aus ihnen zu gewinnen. Skalierungslösungen werden jedoch oft davon ausgebremst, dass Datensätze auf mehrere Server verteilt sind.

Beschleunigte Server mit der A30 liefern die nötige Rechenleistung – zusammen mit gewaltigem HBM2-Arbeitsspeicher, einer Speicherbandbreite von 933 GB pro Sekunde sowie Skalierbarkeit über NVLink® zur Bewältigung dieser gewaltigen Workloads. In Kombination mit InfiniBand, NVIDIA Magnum IO und der RAPIDS™-Suite an Open-Source-Bibliotheken, einschließlich des RAPIDS Accelerator für Apache Spark, beschleunigt die Rechenzentrumsplattform von NVIDIA diese enormen Workloads mit unübertroffener Leistung und Effizienz.

Weitere Informationen zu Datenanalysen

Leistungsstarke Datenanalyse

Weitere Informationen zu Datenanalysen

Unternehmensfähige Auslastung

A30 mit MIG optimiert die Auslastung GPU-beschleunigter Infrastruktur. Mit MIG lässt sich eine A30-GPU in bis zu vier unabhängige Instanzen partitionieren, sodass mehrere Nutzer zeitgleich GPU-Beschleunigung nutzen können.

MIG arbeitet mit Kubernetes, Containern und hypervisorbasierter Servervirtualisierung. MIG ermöglicht es der Infrastrukturverwaltung, jeder Aufgabe eine maßgeschneiderte GPU mit garantierter QoS zuzuweisen, wodurch jeder Nutzer Zugang zu den beschleunigten Computing Ressourcen erhält.

Mehr Infos zu MIG

NVIDIA AI Enterprise

NVIDIA AI Enterprise, eine cloudnative End-to-End-Suite aus KI- und Datenanalysesoftware, ist zertifiziert, um auf der A30 in hypervisorbasierter virtueller Infrastruktur mit VMware vSphere ausgeführt zu werden. Dies ermöglicht die Verwaltung und Skalierung von KI-Workloads in einer Hybrid-Cloud-Umgebung.

Erfahren Sie mehr über NVIDIA AI Enterprise

Mainstream NVIDIA-Certified Systems

NVIDIA-Certified Systems™ mit der NVIDIA A30 vereinen Computing-Beschleunigung und sicheres NVIDIA-Hochgeschwindigkeits-Networking zu Enterprise-Rechenzentrumsservern, die von NVIDIA-OEM-Partnern entwickelt und vertrieben werden. Dieses Programm ermöglicht es Kunden, Systeme für traditionelle und vielfältige moderne KI-Anwendungen aus dem NVIDIA NGC-Katalog auf einer einzigen leistungsstarken, kostengünstigen und skalierbaren Infrastruktur zu identifizieren, zu erwerben und bereitzustellen.

Erfahren Sie mehr über NVIDIA-Certified Systems

A30-Tensor-Core-GPU-Spezifikationen

FP64	5,2 TeraFLOPS
FP64-Tensor-Core	10,3 TeraFLOPS
FP32	10,3 TeraFLOPS
TF32-Tensor-Core	82 TeraFLOPS \| 165 TeraFLOPS*
BFLOAT16-Tensor-Core	165 TeraFLOPS \| 330 TeraFLOPS*
FP16-Tensor-Core	165 TeraFLOPS \| 330 TeraFLOPS*
INT8-Tensor-Core	330 TOPS \| 661 TOPS*
INT4-Tensor-Core	661 TOPS \| 1321 TOPS*
Medien-Engines	1 optischer Durchflussbeschleuniger (OFA) 1 JPEG-Decoder (NVJPEG) 4 Videodecoder (NVDEC)
GPU-Speicher	24 GB HBM2
GPU-Speicherbandbreite	933 GB/s
Konnektivität	PCIe Gen4: 64 GB/s NVLINK der dritten Generation: 200 GB/s**
Formfaktor	FHFL-Dual-Slot (Full Height, Full Length)
Max Thermal Design Power (TDP)	165 W
Mehr-Instanzen-Grafikprozessor (MIG)	4 GPU-Instanzen mit je 6 GB 2 GPU-Instanzen mit je 12 GB 1 GPU-Instanz mit 24 GB
Unterstützung für virtuelle GPU(vGPU)-Software	NVIDIA AI Enterprise NVIDIA Virtual Compute Server

* Mit geringer Dichte
** NVLink-Brücke für bis zu zwei GPUs

Die neuesten MLPerf-Benchmarkdaten lesen

ERGEBNISSE ANZEIGEN

Einblick in die NVIDIA Ampere Architektur

Entdecken Sie die neuesten Technologien der NVIDIA Ampere Architektur.

Weitere Infos