Simulation Générative en Temps Réel pour la Robotique Chirurgicale

NVIDIA présente Cosmos-H-Dreams, un simulateur génératif en temps réel, conditionné par l'action, pour la robotique chirurgicale. Ce système représente une avancée majeure par rapport aux simulateurs conventionnels, qui peinent à modéliser la complexité des scènes chirurgicales (tissus déformables, interactions fines, surfaces spéculaires).

Cosmos-H-Dreams est une distillation du modèle de fondation Cosmos-H-Surgical-Simulator. Il permet d'évaluer et d'entraîner des systèmes robotiques chirurgicaux de manière plus rapide et sûre que sur des plateformes physiques coûteuses. Grâce à des techniques d'apprentissage enseignant-élève et de distillation auto-renforcée, combinées à la bibliothèque d'inférence FlashDreams, il atteint une performance interactive de 160 images par seconde sur un seul GPU NVIDIA RTX PRO 6000. Cela ouvre la voie à des applications comme la télésurveillance à faible latence, la planification de procédures et l'aide à la décision intra-opératoire, en fournissant un environnement d'IA physique partagé pour l'éducation, la génération de données synthétiques et l'évaluation de politiques.