Cosmos 3 Edge : Modèle Mondial pour IA Physique Embarquée

NVIDIA a lancé Cosmos 3 Edge, un modèle mondial de 4 milliards de paramètres conçu pour les systèmes d'IA physique et les robots opérant en périphérie. Ce modèle open source permet aux machines de comprendre leur environnement, de raisonner en temps réel et de générer des actions robotiques directement sur des appareils à ressources limitées, tels que les GPU NVIDIA RTX PRO et Jetson.

Cosmos 3 Edge se distingue par sa capacité à modéliser le monde en apprenant comment un environnement change au fil du temps, en représentant les objets, les mouvements et les effets des actions. Il combine deux tours de transformateurs (autorégressive et de diffusion) partageant une représentation multimodale commune, permettant la compréhension, la prédiction et la génération d'actions. Le modèle peut simuler des futurs possibles et connecter ces simulations à des actions concrètes, offrant ainsi une base pour l'apprentissage des politiques robotiques. Il atteint des performances de pointe en matière d'inférence en temps réel et de précision sur des benchmarks clés.

NVIDIA met également à disposition des points de contrôle post-entraînés et des scripts pour permettre aux développeurs d'adapter et d'optimiser Cosmos 3 Edge pour leurs charges de travail spécifiques, notamment pour les tâches de manipulation robotique. L'objectif est de fournir une plateforme ouverte pour construire des modèles mondiaux adaptés à des domaines spécifiques, avec des améliorations continues prévues pour la génération interactive de mondes, la simulation de scénarios de conduite et les politiques robotiques.