Optimiser l'interaction LLM par le 'rambling' vocal

Andrej Karpathy propose une méthode contre-intuitive pour améliorer l'interaction avec les grands modèles de langage (LLM) : le 'rambling' vocal prolongé. Plutôt que de formuler des requêtes concises, il suggère de parler librement et de manière décousue pendant plusieurs minutes, en utilisant la reconnaissance vocale.

Cette approche fournit aux LLM un volume de données contextuelles plus important, même si elles sont désordonnées. Étonnamment, les LLM excellent à restructurer ces flux de pensées incohérents en des réponses plus claires et cohérentes que l'intention initiale de l'utilisateur. Le résultat est une meilleure compréhension mutuelle entre l'utilisateur et le LLM, réduisant ainsi le besoin de corrections ultérieures.