31:00
Microsserviços NVIDIA NIM
Projetados para implantação rápida e confiável de inferência de IA generativa acelerada em qualquer lugar.
Visão Geral
O Que É o NVIDIA NIM?
O NVIDIA NIM™ fornece microsserviços de inferência pré-construídos e otimizados para a implantação rápida dos modelos de IA mais recentes em qualquer infraestrutura acelerada pela NVIDIA: nuvem, data center, workstation e edge.
Acelere a Implantação de IA com o NVIDIA NIM
O NVIDIA NIM combina a facilidade de uso e a simplicidade operacional das APIs gerenciadas com a flexibilidade e segurança dos modelos de auto-hospedagem na sua infraestrutura preferida. Os microsserviços NIM acompanham tudo o que as equipes de IA precisam: modelos fundacionais de IA mais recentes, mecanismos de inferência otimizados, APIs padrão do setor e dependências de tempo de execução, pré-empacotados em contêineres de software de nível empresarial prontos para implantação e dimensionamento em qualquer lugar.
Benefícios
IA Generativa Empresarial Que Faz Mais por Menos
Microsserviços fáceis de usar e de nível empresarial criados para IA de alto desempenho, projetados para funcionar com perfeição e escalar de maneira acessível. Experimente o mais rápido tempo de geração de valor para agentes de IA e outras aplicações de IA generativa empresarial, capacitadas pelos modelos de IA mais recentes para lógica, simulação, fala e muito mais.
Facilidade de Uso
Acelere a inovação e o tempo de chegada ao mercado com microsserviços pré-construídos e otimizados para os modelos de IA mais recentes. Com APIs padrão, os modelos podem ser implantados em cinco minutos e facilmente integrados às aplicações.
Nível Empresarial
Implante microsserviços de nível empresarial que são continuamente gerenciados pela NVIDIA por meio de processos de validação rigorosos e ramais de recursos dedicados, todos com suporte empresarial da NVIDIA, que também oferece acesso direto aos seus especialistas em IA.
Desempenho e Escala
Melhore o TCO com a inferência de IA de baixa latência e alto rendimento que escala com a nuvem, e alcance a melhor precisão com suporte para modelos minuciosamente ajustados e prontos para uso.
Portabilidade
Implante em qualquer lugar com microsserviços pré-construídos e nativos de nuvem prontos para execução em qualquer infraestrutura acelerada pela NVIDIA (nuvem, data center e workstation) e escale com perfeição em ambientes Kubernetes e de provedores de serviços de nuvem.
Demonstração
Crie Agentes de IA Com o NIM
Saiba como configurar dois agentes de IA, um para geração de conteúdo e outro para design gráfico digital, e veja como é fácil começar a usar os microsserviços NIM.
Tecnologia
Bases para a IA Baseada em Agentes
Benchmarks
Aumente o Rendimento com o NIM
O NVIDIA NIM fornece rendimento e latência otimizados desde o início para maximizar a geração de tokens, além de oferecer suporte a usuários simultâneos em horários de pico e melhorar a capacidade de resposta. Os microsserviços NIM são continuamente atualizados com os mecanismos de inferência otimizados mais recentes, aumentando o desempenho na mesma infraestrutura ao longo do tempo.
Configuração: instrução Llama 3.1 8B, 1 unidade de H100 SXM; solicitações simultâneas: 200. NIM ATIVO: FP8, rendimento de 1201 tokens/s, ITL de 32 ms. NIM INATIVO: FP8, rendimento de 613 tokens/s, ITL de 37 ms.
Modelos
Crie Com os Principais Modelos Abertos
Obtenha um desempenho de inferência otimizado para os modelos de IA mais recentes para capacitar a IA baseada em agentes multimodais com lógica, linguagem, recuperação, fala, imagem e muito mais. O NIM vem com mecanismos de inferência acelerada da NVIDIA e da comunidade, incluindo o NVIDIA® TensorRT™, o TensorRT-LLM e muito mais, pré-criados e otimizados para inferência de baixa latência e alto rendimento na infraestrutura acelerada pela NVIDIA.
Recursos
O Modo Fácil para o Desenvolvimento e a Implantação de IA
Projetados para serem executados em qualquer lugar, os microsserviços de inferência NIM expõem APIs padrão do setor para fácil integração com sistemas e aplicações empresariais, além de escalarem com perfeição no Kubernetes para oferecer inferência de alto rendimento e baixa latência em escala de nuvem.
Implante o NIM
Implante o NIM para o seu modelo com um único comando. Também é fácil você executar o NIM com modelos ajustados com precisão.
Inferência de Execução
Coloque o NIM em funcionamento com o mecanismo de tempo de execução ideal baseado em sua infraestrutura acelerada pela NVIDIA.
Criação
Integre os terminais auto-hospedados do NIM com apenas algumas linhas de código.
Deploy
Run
Build
docker run nvcr.io/nim/publisher_name/model_name
curl -X 'POST' \
'http://0.0.0.0:8000/v1/completions' \
-H 'accept: application/json' \
-H 'Content-Type: application/json' \
-d '{
"model" : "model_name",
"prompt" : "Once upon a time",
"max_tokens" : 64
}'
import openai
client = openai.OpenAI(
base_url = "YOUR_LOCAL_ENDPOINT_URL",
api_key="YOUR_LOCAL_API_KEY"
)
chat_completion = client.chat.completions.create(
model="model_name",
messages=[{"role" : "user" , "content" : "Write me a love song" }],
temperature=0.7
)
Casos de Uso
Como o NIM Está Sendo Usado
Veja como o NVIDIA NIM é compatível com casos de uso do setor e comece seu desenvolvimento de IA com exemplos selecionados.
-
Assistentes Virtuais de IA
-
Inteligência de Documentos
-
Compras Hiperpersonalizadas
-
Configuradores de Produtos 3D
Assistentes Virtuais de IA
Aprimore as experiências dos clientes e melhore os processos empresariais com a IA generativa.
Opções de Inicialização
Maneiras de Começar a Usar o NVIDIA NIM
Recursos
Os Recursos Mais Recentes do NVIDIA NIM
-
Blogs
-
Sessões
-
Cursos
-
Vídeos