Le coût du calcul IA va exploser : implications et opportunités

La thèse de l'explosion des coûts de calcul IA

Dwarkesh Patel prédit une augmentation potentielle de plus de 10x du coût du calcul (compute) dans les années à venir. Cette hausse est motivée par la capacité croissante des modèles d'IA à monétiser le calcul, rendant l'investissement dans des GPU de plus en plus rentable. Si un ingénieur logiciel de niveau humain pouvait fonctionner sur un H100, la valeur locative de ce H100 dépasserait les 250 000 $ par an, soit 15x le prix spot actuel.

Dynamiques du marché et conséquences

Les laboratoires d'IA comme Anthropic voient leurs revenus décupler tandis que leur capacité de calcul ne triple que chaque année. Pour soutenir cette croissance, soit les marges augmentent drastiquement, soit le prix du calcul flambe, soit une part croissante du calcul est dédiée à l'inférence. Les laboratoires préfèrent éviter cette dernière option, car elle signifierait un ralentissement du progrès en entraînement. L'auteur estime que la croissance des marges seules est insuffisante, laissant l'augmentation du coût du calcul comme facteur dominant. Cette situation favorisera les modèles d'IA les plus performants et efficients, car le coût élevé du calcul rendra l'utilisation de modèles moins optimisés prohibitive. Cela pourrait également exclure certaines applications actuelles de l'IA jugées moins rentables.