더욱 빠르고 정확한 AI 추론

NVIDIA NIM은 클라우드, 데이터센터, 워크스테이션 전반에서 생성형 AI의 배포를 가속화하도록 설계된 사용하기 쉬운 소프트웨어입니다.

NVIDIA Triton Inference Server는 기업이 맞춤형 AI 모델 제공 인프라를 통합하고, 프로덕션 환경에서 새로운 AI 모델을 배포하는 데 필요한 시간을 단축하며, AI 추론 및 예측 용량을 늘리는 데 도움을 주는 오픈 소스 추론 제공 소프트웨어입니다.

NVIDIA TensorRT는 고성능 추론을 위해 짧은 레이턴시와 높은 처리량을 제공합니다. 여기에는 추론을 위해 대규모 언어 모델(LLM)을 정의, 최적화, 실행하기 위한 오픈 소스 라이브러리 및 Python API인 NVIDIA TensorRT-LLM과 모델 및 대상 GPU에 최적화된 TensorRT 엔진을 생성하는 웹 서비스인 NVIDIA TensorRT Cloud가 포함됩니다.

H100은 NVIDIA의 가속 컴퓨팅 데이터센터 플랫폼에서 또 한 번의 엄청난 도약을 제공하여 소규모 엔터프라이즈 워크로드부터 모든 데이터센터의 엑사스케일 HPC 및 조 단위의 매개 변수를 자랑하는 AI에 이르는 다양한 워크로드를 안전하게 가속화합니다.

NVIDIA의 전체 추론 제공 소프트웨어 스택과 L40S GPU를 결합하면 추론에 사용할 수 있는 훈련 모델을 위한 강력한 플랫폼을 제공합니다. 구조적 희소성과 광범위한 정밀도를 지원하는 L40S는 NVIDIA A100 Tensor 코어 GPU 대비 최대 1.7배의 추론 성능을 발휘합니다.

L4는 영상, AI, 비주얼 컴퓨팅, 그래픽, 가상화 등을 위한 에너지 효율적인 범용 가속화를 비용 효율적으로 제공합니다. GPU는 CPU 기반 솔루션보다 120배 더 높은 AI 영상 성능을 제공하여 엔터프라이즈가 콘텐츠를 개인화하고 검색 관련성을 개선하는 등의 실시간 인사이트를 얻을 수 있습니다.