ABBEL : Apprentissage d'États de Croyance en Langage Naturel pour une Interaction Efficace en Mémoire

Les grands modèles de langage (LLM) peinent à gérer des interactions longues et complexes en raison des limites de leur fenêtre de contexte. La méthode heuristique courante de résumé récursif (compaction de contexte) dégrade significativement les performances, notamment dans les domaines d'assistance humaine où les données de haute qualité sont rares, comme la génération de code collaboratif.

ABBEL (Acting through Belief Bottlenecks) propose une solution en isolant et supervisant le contenu informatif des résumés sous forme d'états de croyance en langage naturel. Inspiré de l'estimation bayésienne récursive, ABBEL met à jour ces états de croyance périodiquement. Le concept clé est le "belief grading", qui évalue la qualité de ces états de croyance en mesurant leur capacité à reconstruire les observations récentes, réduisant ainsi l'écart de performance avec les modèles à contexte complet et accélérant l'entraînement. Cette approche permet une gestion plus efficace de la mémoire et une meilleure interprétabilité.