La durée de vie utile étendue des GPU IA

Carte mentaleMind map

L'auteur remet en question la durée de vie utile traditionnellement courte (4-5 ans) des GPU, en particulier pour l'IA. Des preuves récentes de Coreweave et de Jensen Huang (NVIDIA) suggèrent que des puces comme l'A100, introduites en 2020, peuvent être re-contractualisées et utilisées de manière rentable jusqu'en 2029, voire au-delà. Cette extension de la durée de vie est rendue possible par la plateforme CUDA de NVIDIA, qui permet des mises à niveau logicielles continues.

Cette tendance s'explique par deux facteurs principaux : la persistance des contraintes de calcul et la diversification des charges de travail d'inférence. Alors que les tâches d'inférence les plus complexes nécessiteront toujours les dernières puces, un "long tail" de requêtes plus triviales peut être géré efficacement par des générations de GPU plus anciennes. Cela ouvre la voie à des opportunités significatives pour les entreprises capables de développer des couches logicielles intelligentes pour router les requêtes vers le GPU le plus approprié, maximisant ainsi la rentabilité des infrastructures existantes.