모든 플랫폼의 모든 애플리케이션에 AI를 배포, 실행 및 확장할 수 있는 적합한 라이선스를 찾아보세요.
NVIDIA Triton 추론 서버 또는 줄여서 Triton은 오픈 소스 방식의 추론 제공 소프트웨어입니다. 이를 통해 팀은 모든 GPU 또는 CPU 기반 인프라(클라우드, 데이터센터 또는 엣지)의 모든 프레임워크(TensorFlow, NVIDIA TensorRT™, PyTorch, ONNX, XGBoost, Python, 맞춤형 등)에서 AI 모델을 배포, 실행 및 확장할 수 있습니다. 자세한 내용은 Triton 웹 페이지를 참조하세요.
Triton 모델 분석기는 대상 GPU 또는 CPU의 처리량, 지연 시간 및/또는 메모리 제약 조건에 대한 추론 배포 구성(배치 크기, 모델 인스턴스 수 등)을 최적화하기 위한 오프라인 도구입니다. 단일 모델, 모델 앙상블 및 다중 동시 모델의 분석을 지원합니다.
Triton은 데이터센터 및 클라우드 전반의 전체 소프트웨어 스택에 엔터프라이즈급 지원, 보안 안정성 및 관리 용이성을 제공하는 엔드 투 엔드 AI 소프트웨어 플랫폼인 NVIDIA AI Enterprise에 포함되어 있습니다. NVIDIA AI Enterprise에는 비즈니스 표준 지원이 포함됩니다. 비즈니스 필수 지원, 기술 계정 관리자에 대한 액세스, 교육 및 전문 서비스를 포함한 추가 지원 및 서비스를 사용할 수 있습니다. 자세한 내용은 엔터프라이즈 지원 및 서비스 사용 설명서를 참조하세요.
예, NVIDIA Launchpad에서 Triton을 사용하는 다양한 랩이 있습니다.
NVIDIA LaunchPad는 사용자에게 웹 브라우저를 통해 엔터프라이즈 NVIDIA 하드웨어 및 소프트웨어에 대한 단기 액세스를 제공하는 프로그램입니다. AI 및 데이터 사이언스에서 3D 설계 및 인프라 최적화에 이르는 사용 사례를 둘러싼 솔루션을 경험하려면 실습 랩의 대규모 카탈로그에서 선택하세요. 기업은 프라이빗 호스팅 인프라에서 필요한 하드웨어 및 소프트웨어 스택을 즉시 활용할 수 있습니다.
예, Triton은 AI 추론 및 모델 배포를 위해 선택할 수 있는 최고의 에코시스템입니다. Triton은 NVIDIA AI Enterprise를 통해 AWS, Microsoft Azure 및 Google Cloud 마켓플레이스에서 사용할 수 있습니다. Alibaba Cloud, Amazon EKS(Elastic Kubernetes Service), Amazon ECS(Elastic Container Service), Amazon SageMaker, GKE(Google Kubernetes Engine), Google Vertex AI, HPE Ezmeral, Microsoft AKS(Azure Kubernetes Service), Azure Machine Learning 및 Oracle Cloud Infrastructure Data Science Platform에서도 사용하실 수 있습니다.
NVIDIA 뉴스레터를 구독하고 최신 AI 추론 분야 뉴스를 받아보세요.
NVIDIA 개인정보보호정책