31:00
Microservicios NVIDIA NIM
Diseñados para posibilitar una implementación rápida y fiable de la inferencia de IA generativa acelerada en cualquier lugar.
Descripción
¿Qué es NVIDIA NIM?
NVIDIA NIM™ ofrece microservicios de inferencia optimizados y prediseñados para implementar rápidamente los últimos modelos de IA en cualquier infraestructura acelerada por NVIDIA: la nube, el centro de datos, la estación de trabajo y el perímetro.
Acelere la implementación de IA con NVIDIA NIM
NVIDIA NIM combina la facilidad de uso y la simplicidad operativa de las API gestionadas con la flexibilidad y la seguridad de los modelos autohospedados en su infraestructura preferida. Los microservicios NIM incluyen todo lo que los equipos de IA requieren —los últimos modelos básicos de IA, motores de inferencia optimizados, interfaces API estándar del sector y dependencias en tiempo de ejecución— preempaquetados en contenedores de software de nivel empresarial listos para que puedan implementarse y escalarse en cualquier lugar.
Ventajas
IA generativa empresarial que hace más por menos
Microservicios sencillos de nivel empresarial construidos para la IA de alto rendimiento, diseñados para funcionar a la perfección y escalar de forma asequible. Experimente el tiempo de obtención de valor más rápido para agentes de IA y otras aplicaciones de IA generativa empresarial, impulsadas por los últimos modelos de IA para razonamiento, simulación, voz y mucho más.
Facilidad de uso
Acelere la innovación y el tiempo de comercialización con microservicios optimizados y prediseñados para los últimos modelos de IA. Con las API estándar, los modelos se pueden implementar en cinco minutos e integrarse fácilmente en las aplicaciones.
Nivel empresarial
Implemente microservicios de nivel empresarial que NVIDIA gestiona continuamente a través de procesos de validación rigurosos y ramificaciones de características dedicadas, todo ello respaldado por el soporte empresarial de NVIDIA, que ofrece además acceso directo a los expertos de NVIDIA AI.
Rendimiento y escala
Mejore el coste total de la propiedad (TCO) mediante la inferencia de IA de alta capacidad de procesamiento y baja latencia que escala con la nube y logre la mejor precisión con compatibilidad para modelos ajustados con precisión listos para usar.
Portabilidad
Implemente donde quiera con microservicios prediseñados, nativos de la nube, listos para ejecutarse en cualquier infraestructura acelerada por NVIDIA (nube, centro de datos o estación de trabajo) y escale sin complicaciones en entornos de Kubernetes y de proveedor de servicios en la nube.
Demostración
Cree agentes de IA con NIM
Aprenda a configurar dos agentes de IA, uno para la generación de contenido y otro para el diseño gráfico digital, y compruebe lo fácil que resulta ponerse en marcha con los microservicios NIM.
Tecnología
Bloques de construcción para la IA de agentes
Pruebas de rendimiento
Potencie la capacidad de procesamiento con NIM
NVIDIA NIM ofrece capacidad de procesamiento y latencia optimizados preparados para maximizar la generación de tokens, admitir usuarios simultáneos en momentos pico y mejorar la capacidad de respuesta. Los microservicios NIM se actualizan continuamente con los últimos motores de inferencia optimizados y aumentan el rendimiento en la misma infraestructura con el tiempo.
Configuración: instrucción Llama 3.1 8B, 1 H100 SXM; solicitudes simultáneas: 200. NIM ACTIVADO: FP8, rendimiento 1201 tokens/s, ITL 32 ms. NIM DESACTIVADO: FP8, rendimiento de 613 tokens/seg, ITL 37 ms.
Modelos
Cree con los principales modelos abiertos
Obtenga un rendimiento de inferencia optimizado para los últimos modelos de IA para impulsar la IA de agentes multimodal con razonamiento, lenguaje, recuperación, voz, imagen y mucho más. NIM lleva integrados motores de inferencia acelerados de NVIDIA y de la comunidad, que incluyen NVIDIA® TensorRT™, TensorRT-LLM, entre otros, preconfigurados y optimizados para lograr inferencia de baja latencia y alta capacidad de procesamiento en infraestructuras aceleradas por NVIDIA.
Características
El botón fácil para el desarrollo y la implementación de IA
Al estar diseñados para ejecutarse en cualquier lugar, los microservicios de inferencia NIM ponen a su disposición las API estándar del sector para simplificar la integración con los sistemas y aplicaciones empresariales y escalan de forma impecable en Kubernetes para brindar una inferencia de alta capacidad de procesamiento y baja latencia a escala de nube.
Implemente NIM
Implemente NIM para su modelo con un solo comando. También puede ejecutar fácilmente NIM con modelos ajustados con precisión.
Ejecute inferencia
Ponga en marcha NIM con el motor de tiempo de ejecución óptimo basado en su infraestructura acelerada por NVIDIA.
Desarrolle
Los desarrolladores pueden integrar puntos finales NIM autohospedados con tan solo unas pocas líneas de código.
Deploy
Run
Build
docker run nvcr.io/nim/publisher_name/model_name
curl -X 'POST' \
'http://0.0.0.0:8000/v1/completions' \
-H 'accept: application/json' \
-H 'Content-Type: application/json' \
-d '{
"model" : "model_name",
"prompt" : "Once upon a time",
"max_tokens" : 64
}'
import openai
client = openai.OpenAI(
base_url = "YOUR_LOCAL_ENDPOINT_URL",
api_key="YOUR_LOCAL_API_KEY"
)
chat_completion = client.chat.completions.create(
model="model_name",
messages=[{"role" : "user" , "content" : "Write me a love song" }],
temperature=0.7
)
Casos de uso
Cómo se está usando NIM
Compruebe cómo NVIDIA NIM resulta útil en casos de uso del sector e inicie su desarrollo de IA con ejemplos seleccionados.
-
Asistentes virtuales de IA
-
Inteligencia de documentos
-
Compras hiperpersonalizadas
-
Configuradores de producto 3D
Asistentes virtuales de IA
Mejore las experiencias de los clientes y los procesos empresariales en las telecomunicaciones con la IA generativa.
Cómo empezar
Maneras de empezar a usar NVIDIA NIM
Recursos
Los últimos recursos de NVIDIA NIM
-
Blogs
-
Sesiones
-
Cursos
-
Vídeos