Varejo

Amazon Acelera a Satisfação do Cliente com Servidor de Inferência NVIDIA Triton e NVIDIA TensorRT

Objetivo

A Amazon melhora a experiência do cliente com verificação ortográfica em tempo real orientada por IA para pesquisa de produtos.

Cliente

Amazon

Caso de Uso

Busca em Tempo Real

Tecnologia

NVIDIA TensorRT, Servidor de Inferência NVIDIA Triton, T5, Triton Model Analyzer

Verificação Ortográfica em Tempo Real para Pesquisa Aprimorada de Produtos

Amazon.com, um dos sites de comércio eletrônico mais visitados do mundo, permite que os clientes comprem com mais facilidade usando um modelo de IA que corrige automaticamente palavras com erros ortográficos nas consultas de pesquisa. A Amazon mede o sucesso de seus resultados de pesquisa acelerada com base na latência, a rapidez com que o corretor ortográfico corrige um erro de digitação e na taxa de transferência, o número de sessões bem-sucedidas.

Soluções da NVIDIA

Para alcançar os resultados desejados, a Amazon usa o modelo de processamento de linguagem natural (PNL) Text-To-Text Transfer Transformer (T5) para correção ortográfica. Para acelerar a correção de texto, eles utilizam o software de inferência de IA da NVIDIA, incluindo o Servidor de Inferência NVIDIA Triton™ e o NVIDIA® TensorRT™, um SDK para inferência de deep learning de alto desempenho.

Resultados da Amazon

Resultados

  • Aceleração de inferência de 5 vezes com NVIDIA TensorRT e Servidor de Inferência NVIDIA Triton

  • Inferência em tempo real (<50ms)

A Amazon implantou com sucesso o modelo T5 NLP para correção ortográfica automática, acelerada pelo Servidor de Inferência Triton e TensorRT. As soluções NVIDIA forneceram, respectivamente, menos de 50 ms de latência de inferência e 5 vezes a taxa de transferência para o modelo T5, usando GPUs NVIDIA na Amazon Web Services (AWS). O Triton Model Analyzer também reduziu o tempo necessário para encontrar a configuração de inferência ideal de semanas para horas. Com a IA, os compradores online agora podem encontrar os produtos que procuram com mais rapidez e facilidade, aumentando a satisfação geral do cliente da Amazon.

Sobre a Amazon

Amazon.com, Inc. é uma empresa multinacional americana de tecnologia com foco em comércio eletrônico.

“É tudo uma questão de experiência do cliente, e a barra de pesquisa é o ponto de entrada para nossos clientes em todo o mundo. Com o Model Analyzer, o que costumava levar duas ou três semanas, podemos fazer em menos de um dia. Demonstramos que os modelos generativos funcionam melhor em GPUs NVIDIA, isso ficou claro. Se eu conseguir trazer latência de milissegundos para modelos maiores, poderei deixar mais clientes satisfeitos. A NVIDIA se concentra na coisa certa: otimizar o desempenho, e eles são excelentes parceiros, rápidos e responsivos em recursos.”


Desenvolvedor Sênior de Machine Learning

Amazon