Explora los últimos modelos de IA optimizados, conecta aplicaciones a datos con NVIDIA Blueprints e implementa en cualquier lugar con los microservicios de NVIDIA NAM.
Integraciones
Póngase en marcha rápidamente con API conocidas.
Aproveche las API de NVIDIA de sus SDK existentes con tan solo tres líneas de código.
Trabaje con sus frameworks de programación LLM favoritos, incluidos LangChain y LlamaIndex, e implemente fácilmente sus aplicaciones.
Los datos impulsan las aplicaciones empresariales modernas. Conecte los agentes de IA con los datos empresariales a escala con un motor de consultas de IA que utiliza la generación aumentada de recuperación (RAG) para equipar a los empleados con conocimientos institucionales instantáneos y precisos.
Todo lo que necesitas para crear aplicaciones de IA generativa impactantes. Cada plano incluye NVIDIA NIM y microservicios de socios, uno o más agentes de IA, código de muestra, instrucciones de personalización y un gráfico de Helm para la implementación.
Corre en Cualquier Lugar
Como parte de NVIDIA AI Enterprise, NVIDIA NIM es un conjunto de microservicios de inferencia fáciles de usar para acelerar la implementación de modelos básicos en cualquier nube o data center y ayudar a mantener tus datos seguros.
Implemente NIM para su modelo con un solo comando. También puede ejecutar NIM fácilmente con modelos optimizados.
Ponga en funcionamiento NIM con el motor de ejecución óptimo basado en su infraestructura acelerada por NVIDIA.
Los desarrolladores pueden integrar puntos finales NIM autoalojados con solo unas pocas líneas de código.
Implementa sin problemas microservicios de IA en contenedores en cualquier infraestructura acelerada de NVIDIA, desde un solo dispositivo hasta la escala del data center.
Confíe en los tiempos de ejecución de nivel de producción, incluidas las actualizaciones de seguridad continuas, y ejecute sus aplicaciones empresariales con API estables respaldadas por soporte de nivel empresarial.
Reduzca el costo operativo de ejecutar modelos en producción con tiempos de ejecución de IA que se optimizan continuamente para lograr baja latencia y alto rendimiento en la infraestructura acelerada por NVIDIA.
NVIDIA NIM proporciona un rendimiento y una latencia optimizados desde el primer momento para maximizar la generación de tokens, admitir usuarios simultáneos en las horas pico y mejorar la capacidad de respuesta.
Configuración: Llama3.1-8B-instruct, 1x H100SXM; Entrada 1000 tokens, salida 1000 tokens. Solicitudes concurrentes: 200. NIM ON : FP8. rendimiento 6.354 tokens/s, TTFT 0,4s, ITL: 31ms. NIM OFF: FP8. rendimiento 2,265 tokens/s, TTFT 1.1s, ITL: 85ms
Personalización
NVIDIA NeMo™ es una plataforma integral para desarrollar IA generativa personalizada en cualquier lugar. Incluye herramientas para la formación, la personalización y la generación aumentada de recuperación, la protección, la curación de datos y la formación previa de modelos, lo que ofrece a las empresas una forma fácil, rentable y rápida de adoptar la IA generativa.
Casos de Uso
Vea cómo las API de NVIDIA respaldan los casos de uso de la industria e impulse su desarrollo de IA con ejemplos seleccionados.
Ecosistema
Desarrolle sus aplicaciones de IA con modelos, kits de herramientas, bases de datos
vectoriales, frameworks e infraestructura con nuestros socios líderes.
Recursos
Explora la documentación técnica para comenzar a crear prototipos y crear aplicaciones de IA empresariales con las API de NVIDIA, o escala en tu propia infraestructura con NVIDIA NIM.