Fine-tuning de modèles de diffusion à l'échelle avec NeMo Automodel

Cet article présente la collaboration entre NVIDIA et Hugging Face, introduisant NVIDIA NeMo Automodel comme solution pour le fine-tuning distribué et à grande échelle de modèles de diffusion. NeMo Automodel est une bibliothèque open-source PyTorch native DTensor, conçue pour s'intégrer parfaitement avec l'écosystème Hugging Face Diffusers.

La solution permet aux utilisateurs de fine-tuner des modèles de diffusion d'images et de vidéos (comme FLUX.1-dev, Wan 2.1, HunyuanVideo) sans conversion de checkpoint ni réécriture de code, offrant une interface cohérente pour l'inférence et l'adaptation. Elle gère des défis techniques tels que le sharding mémoire-efficace, le caching latent et le bucketing multi-résolution, et s'adapte de manière transparente d'un seul GPU à des centaines. L'intégration supporte le fine-tuning complet et le fine-tuning paramètre-efficace (LoRA), avec des performances démontrées sur des GPU H100.