IA física
NVIDIA Cosmos
Acelere el desarrollo de la IA física con modelos de mundo básicos.
Descripción
¿Qué es NVIDIA Cosmos?
NVIDIA Cosmos™ es una plataforma de modelos de mundo generativos básicos (WFM) de última generación, tokenizadores avanzados, barreras de protección y una canalización acelerada de procesamiento y selección de datos construida para acelerar el desarrollo de la IA física, en tecnologías como los vehículos autónomos (VA) y los robots.
Ventajas
Acelere el desarrollo de IA física con modelos de mundo básicos
Cosmos proporciona a los desarrolladores un acceso abierto y fácil a modelos de mundo básicos de alto rendimiento y canalizaciones de datos, haciendo que el desarrollo de la IA física sea accesible para todas las personas.
Modelos
Modelos de mundo básicos de NVIDIA Cosmos
Una familia de modelos preentrenados diseñados para generar vídeos basados en la física y estados de mundo para el desarrollo de la IA física.
Obtenga más información sobre arquitecturas de modelos, recursos de desarrollo y disponibilidad aquí.
Familia de modelos de última generación
- Modelos autorregresivos y de difusión para la generación de texto a mundo y vídeo a mundo, disponibles en tamaños de parámetros que van desde 4 a 14 mil millones para satisfacer diversas necesidades. Modelo de muestreo superior de
- 12 mil millones de parámetros para refinar indicaciones de texto, ofreciendo una mayor precisión y detalle en las salidas generadas.
- Modelo de 7 mil millones de parámetros diseñado para descodificar secuencias de vídeo, optimizado para aplicaciones de realidad aumentada.
Barreras de protección integradas
- Protección previa para filtrar marcas, contenido NSFW (no seguro/apropiado para el trabajo) e indicaciones dañinas.
- Protección previa para eliminar escenarios cuestionables.
- Protección de seguridad para difuminar rostros humanos.
- Marcas de agua digitales en vídeos sintéticos generados a partir de las interfaces API de vista previa en el catálogo de API de NVIDIA.
Pruebas de rendimiento
Transición al rendimiento de la IA física
NVIDIA está trabajando con el ecosistema de robótica y vehículos autónomos para desarrollar un conjunto de pruebas de referencia que reflejen los requisitos únicos de las aplicaciones de la IA física a partir de los modelos de mundo básicos.
Las pruebas de referencia de Cosmos están diseñadas para evaluar la próxima generación de modelos de mundo con criterios avanzados como la coherencia 3D y la alineación con la física, esenciales para la robótica y los sistemas autónomos.
En comparación con VideoLDM (VLDM), un modelo generativo de línea base para la síntesis de vídeo, los WFM de Cosmos destacan por su precisión geométrica con una menor tasa de error de Sampson y una mejor estabilidad temporal. Las pruebas de referencia también evalúan los WFM basados en comportamientos físicos como la gravedad y la dinámica de colisiones.
Los WFM de Cosmos superan constantemente a los VLDM en coherencia visual, logrando tasas de éxito de estimación de posturas hasta 14 veces más altas. Mientras que los modelos de difusión brindan una mayor fidelidad desde el principio, los modelos autorregresivos ofrecen un excelente rendimiento para modelos personalizados.
Casos de uso
Cómo usan los desarrolladores NVIDIA Cosmos
Vea cómo los desarrolladores de robótica, vehículos autónomos e IA de visión pueden usar Cosmos para hacer avanzar su trabajo.
-
Búsqueda de vídeo
-
Conversión controlable de 3D a real
-
Modelo de política
-
Previsión
-
Simulación multiverso
Búsqueda de vídeo
Cosmos ayuda a los desarrolladores a crear conjuntos de datos adaptados para el entrenamiento de modelos de IA. Ya sea en imágenes de carreteras nevadas para automóviles autónomos o en escenarios de almacenes con una gran actividad para la robótica, Cosmos simplifica el etiquetado y la búsqueda de vídeos al asimilar los patrones espaciales y temporales, facilitando la preparación de datos de entrenamiento.
Esto ahorra tiempo, reduce costes y ayuda a proporcionar modelos de IA que son muy relevantes y tienen una gran repercusión para su uso en el mundo real.
Ecosistema
Adoptado por los principales innovadores en el campo de la IA física
Los desarrolladores de modelos de robótica, vehículos autónomos y sectores que emplean la IA de visión están utilizando Cosmos para acelerar el desarrollo de la IA física.