Descripción general
¿Cuál es la forma inteligente de escalar la inferencia de IA?
Una sola pregunta. Un conjunto de tokens para la respuesta. Esto se llama inferencia de IA. A medida que los modelos aumentan de tamaño y complejidad, las organizaciones necesitan un enfoque de pila completa y herramientas integrales para tener éxito en esta nueva era de leyes de escalado de IA.
Con los modelos de razonamiento que generan exponencialmente más tokens de IA, la demanda de computación está aumentando. Para satisfacerla, se necesitan fábricas de IA, una infraestructura diseñada específicamente y optimizada para la inferencia a escala con NVIDIA Blackwell, diseñada para ofrecer rendimiento, eficiencia y ROI en todos los sectores.
La optimización de la inferencia de pila completa es la clave para garantizar que esté pensando inteligentemente en escalar la IA a escala de fábrica de IA.
NVIDIA Blackwell maximiza el retorno de la inversión en inferencia de IA
NVIDIA Blackwell permite los mayores ingresos para fábricas de IA, incluido un retorno de la inversión hasta 15 veces superior. Esto es el resultado de un diseño conjunto extremo en NVIDIA Blackwell, NVLink™ y NVLink Switch para la escalabilidad horizontal; NVFP4 para la precisión de baja resolución; y NVIDIA Dynamo y TensorRT™-LLM para la velocidad y la flexibilidad, así como el desarrollo con los marcos comunitarios SGLang, vLLM y muchos más.
Los resultados de DeepSeek-R1 8K/1K muestran una ventaja de rendimiento y una oportunidad de ingresos 15 veces superior para NVIDIA Blackwell GB200 NVL72 en comparación con Hopper H200.
NVIDIA TensorRT-LLM registra un rendimiento máximo de 60 000 TPS/GPU, una interactividad máxima de 1000 TPS/usuario y una mejora del rendimiento cinco veces superior en dos meses, en gpt-oss-120b.
Ventajas
Explora las ventajas de NVIDIA AI para la inferencia acelerada
Estandarizar la implementación
Estandariza la implementación de modelos en aplicaciones, marcos de IA, arquitecturas de modelos y plataformas.
Integra y escala con facilidad
Integra fácilmente con herramientas y plataformas en nubes públicas, en centros de datos locales y en el perímetro.
Menor coste
Consigue un alto rendimiento y utilización de la infraestructura de IA, reduciendo así los costes.
Alto rendimiento
Disfruta del mejor rendimiento del sector con la plataforma que ha establecido múltiples récords en MLPerf
, el punto de referencia líder del sector para la IA.Software
Explora nuestro software de inferencia de IA
NVIDIA AI Enterprise consta de NVIDIA NIM™, NVIDIA Triton™ Inference Server, NVIDIA® TensorRT™ y otras herramientas para simplificar la creación, el uso compartido y la implementación de aplicaciones de IA. Con el soporte, la estabilidad, la gestión y la seguridad de nivel empresarial, las empresas pueden acelerar el tiempo de obtención del valor mientras eliminan el tiempo de inactividad no planificado.
Hardware
Explora nuestra infraestructura de inferencia de IA
Obtenga un rendimiento de IA inigualable con el software de inferencia de IA de NVIDIA optimizado para la infraestructura acelerada por NVIDIA. Las tecnologías NVIDIA Blackwell Ultra, GPU H200, NVIDIA RTX PRO™ 6000 Blackwell Server Edition y NVIDIA RTX™ proporcionan una velocidad y eficiencia excepcionales para cargas de trabajo de inferencia de IA en centros de datos, nubes y estaciones de trabajo.
Casos de éxito
Cómo los líderes del sector impulsan la innovación con la inferencia de IA
Recursos
Lo último en recursos de inferencia por IA
-
Blogs
-
Sesiones
-
Formación
-
Vídeos
