Descripción

¿En qué consiste la inferencia de IA?

La inferencia de IA sirve para implementar los modelos de IA preentrenados y generar nuevos datos, y es donde la IA ofrece sus resultados, impulsando la innovación en todos los sectores. Los modelos de IA están creciendo rápidamente en tamaño, complejidad y diversidad, poniendo a prueba los límites de lo que se considera posible. De cara al correcto uso de la inferencia de IA, las organizaciones necesitan un enfoque integral que admita el ciclo de vida de la IA de extremo a extremo y herramientas que permitan a los equipos cumplir con sus objetivos.

Implementar la IA generativa en producción

Explora las consideraciones clave para implementar y escalar la IA generativa en producción, incluido el papel crítico de la inferencia de la IA.

Ventajas

Explora las ventajas de NVIDIA AI para la inferencia acelerada

Estandarizar la implementación

Estandariza la implementación de modelos en aplicaciones, marcos de IA, arquitecturas de modelos y plataformas.

Integra y escala con facilidad

Integra fácilmente con herramientas y plataformas en nubes públicas, en centros de datos locales y en el perímetro.

Menor coste

Consigue un alto rendimiento y utilización de la infraestructura de IA, reduciendo así los costes.

Alto rendimiento

Disfruta del mejor rendimiento del sector con la plataforma que ha establecido múltiples récords en MLPerf

, el punto de referencia líder del sector para la IA.

Software

Explora nuestro software de inferencia de IA

NVIDIA AI Enterprise consta de NVIDIA NIM™, NVIDIA Triton™ Inference Server, NVIDIA® TensorRT™ y otras herramientas para simplificar la creación, el uso compartido y la implementación de aplicaciones de IA. Con el soporte, la estabilidad, la gestión y la seguridad de nivel empresarial, las empresas pueden acelerar el tiempo de obtención del valor mientras eliminan el tiempo de inactividad no planificado.

El camino más rápido hacia la inferencia de IA generativa

NVIDIA NIM es un conjunto de microservicios fáciles de usar diseñados para implementar, de forma segura y fiable, inferencias de modelos de IA de alto rendimiento en todo tipo de nubes, centros de datos y estaciones de trabajo.

Servidor de inferencia unificado para todas tus cargas de trabajo de IA

El servidor de inferencia NVIDIA Triton es un software de servicio de inferencia de código abierto que ayuda a las empresas a consolidar la infraestructura de servicio de modelos de IA a medida, acortar el tiempo necesario para implementar nuevos modelos de IA en producción y aumentar la capacidad de inferencia y predicción de IA.

Un SDK para optimizar la inferencia y el tiempo de ejecución

NVIDIA TensorRT incluye un tiempo de ejecución de inferencia y optimizaciones de modelos que ofrecen baja latencia y alto rendimiento para las aplicaciones de producción. El ecosistema TensorRT incluye TensorRT, TensorRT-LLM, TensorRT Model Optimizer y TensorRT Cloud.

Hardware

Explora nuestra infraestructura de inferencia de IA

Consigue el mejor rendimiento de IA con el software de inferencia de IA de NVIDIA, optimizado para la infraestructura acelerada por NVIDIA. Las tecnologías NVIDIA H200, L40S y NVIDIA RTX™ ofrecen una velocidad y eficiencia excepcionales para las cargas de trabajo de inferencia de IA en centros de datos, nubes y estaciones de trabajo.

GPU NVIDIA H200 con núcleos Tensor

La GPU NVIDIA H200 con núcleo Tensor potencia las cargas de trabajo de IA generativa y computación de alto rendimiento (HPC) con un rendimiento y capacidades de memoria revolucionarios. Al ser la primera GPU con HBM3e, la memoria más grande y rápida de la H200 impulsa la aceleración de la IA generativa y los modelos lingüísticos de gran tamaño (LLM) al tiempo que supone un avance para la computación científica para cargas de trabajo de HPC.

GPU NVIDIA L40S

La combinación del software de servicio de inferencia de NVIDIA con la GPU L40S proporciona una plataforma poderosa para modelos entrenados listos para la inferencia. Con soporte para la escasez estructural y una amplia gama de precisiones, la L40S ofrece hasta 1,7 veces el rendimiento de inferencia de la GPU NVIDIA A100 Tensor Core.

Tecnología NVIDIA RTX

La tecnología NVIDIA RTX lleva la IA a la computación visual, acelerando la creatividad, automatizando las tareas y optimizando los procesos de computación intensiva. Gracias a la potencia de los núcleos CUDA®, RTX mejora el renderizado en tiempo real, la IA, los gráficos y el rendimiento informático.

Casos de uso

Cómo se utiliza la inferencia de IA

Descubre cómo ayuda NVIDIA AI en casos de uso del sector y empieza tu desarrollo de IA conversacional con ejemplos seleccionados.

Humanos digitales

NVIDIA ACE es un conjunto de tecnologías que ayudan a los desarrolladores a dar vida a los humanos digitales. Entre los microservicios ACE están NVIDIA NIM: microservicios fáciles de implementar y de alto rendimiento, optimizados para ejecutarse en ordenadores con IA con NVIDIA RTX o en NVIDIA Graphics Delivery Network (GDN), una red global de GPU que ofrece procesamiento de humanos digitales de baja latencia a 100 países. 

Generación de contenido

Con la IA generativa puedes generar contenido altamente relevante, personalizado y preciso, basado en la experiencia del dominio y la IP patentada de tu empresa.

Generación biomolecular

Los modelos generativos biomoleculares y el poder computacional de las GPU exploran eficientemente el espacio químico, generando con rapidez diversos conjuntos de pequeñas moléculas adaptadas a objetivos o propiedades de fármacos específicos.

Detección de fraude

Las instituciones financieras necesitan poder detectar y prevenir las actividades fraudulentas más sofisticadas, como el robo de identidad, la apropiación de cuentas o el blanqueo de capitales. Las aplicaciones con IA pueden minimizar los falsos positivos en la detección de fraudes en transacciones, mejorar la precisión en la verificación de identidad para los requisitos KYC (siglas en inglés de «conoce a tu cliente») y hacer más efectivos los esfuerzos contra el blanqueo de capitales. mejorar la experiencia del cliente y la salud financiera de tu empresa.

Chatbot de IA

El objetivo de las organizaciones es crear chatbots de IA más inteligentes utilizando generación aumentada por recuperación (RAG). Gracias a la RAG, los chatbots pueden responder de forma precisa a preguntas específicas de un sector mediante la recuperación de información procedente de la base de conocimientos de una organización y ofrecer respuestas en tiempo real y en lenguaje natural. Estos chatbots pueden servir para mejorar la atención al cliente, personalizar los avatares de IA, gestionar el conocimiento empresarial, agilizar la contratación de empleados, brindar asistencia de TI inteligente, crear contenido y mucho más.

Análisis de vulnerabilidades de seguridad

La resolución de problemas de seguridad de software cada vez es más difícil, ya que el número de errores de seguridad notificados en la base de datos de vulnerabilidades y exposiciones comunes (CVE) alcanzó un máximo histórico en 2022. Al usar la IA generativa, es posible mejorar la defensa contra vulnerabilidades mientras se disminuye la carga de los equipos de seguridad.

Casos de éxito

Cómo los líderes del sector impulsan la innovación con la inferencia de IA

Amdocs

Acelera el rendimiento de la IA generativa y reduce los costes

Descubre cómo Amdocs creó amAIz, una plataforma de IA generativa específica de dominio para empresas de telecomunicaciones, que utiliza los microservicios de inferencia NVIDIA DGX™ Cloud y NVIDIA NIM para mejorar la latencia, aumentar la precisión y reducir los costes.

Snapchat

Mejorar la compra de ropa con la IA

Descubre cómo Snapchat mejoró la experiencia de compra de ropa y el reconocimiento óptico de caracteres capaz de reconocer los emoji con el servidor de inferencia Triton para escalar, reducir costes y acelerar el tiempo de producción.

Amazon

Acelera la satisfacción del cliente

Descubre cómo Amazon mejoró la satisfacción del cliente acelerando por cinco su inferencia gracias a TensorRT.

Recursos

Lo último en recursos de inferencia por IA

Da tus primeros pasos en la inferencia con NVIDIA LaunchPad

¿Ya tienes un proyecto de IA? Haz una solicitud para obtener experiencia práctica en las pruebas y la creación de prototipos de tus soluciones de IA.

Explora las rutas de aprendizaje de la IA generativa y los LLM

Mejora tus habilidades técnicas en IA generativa y en modelos lingüísticos de gran tamaño con nuestras completas rutas de aprendizaje.

Empieza con la inferencia generativa de IA en NVIDIA LaunchPad

Acelera tu viaje hacia la IA generativa gracias al acceso inmediato y a corto plazo a los microservicios de inferencia NVIDIA NIM y a los modelos de IA, totalmente gratis.

Implementación de IA generativa en producción con NVIDIA NIM

Accede al potencial de la IA generativa con NVIDIA NIM. Este vídeo muestra cómo los microservicios NVIDIA NIM pueden transformar tu implementación de IA en un potente centro de producción.

Las 5 razones por las que Triton está simplificando la inferencia

El servidor de inferencia Triton simplifica la implementación de modelos de IA a escala en producción. El software de inferencia de código abierto permite a los equipos implementar modelos de IA entrenados desde cualquier marco, desde el almacenamiento local o la plataforma en la nube en cualquier infraestructura basada en GPU o CPU.

UneeQ

NVIDIA presenta NIM

¿Alguna vez te has preguntado de qué es capaz la tecnología NIM de NVIDIA? Adéntrate en el mundo de los robots y los humanos digitales para ver qué pueden hacer los NIM.

Próximos pasos

¿Listo para empezar?

Explora todo lo necesario para empezar a desarrollar tu aplicación de IA, incluidas las últimas documentaciones, tutoriales, blogs técnicos y mucho más.

Ponte en contacto con nosotros

Habla con un especialista en productos NVIDIA sobre cómo pasar del piloto a la producción con la seguridad, la estabilidad de las API y el soporte de NVIDIA AI Enterprise.

Obtén lo último en IA de NVIDIA

Suscríbete para obtener las últimas noticias, actualizaciones y mucho más de NVIDIA.