A systematic study of offline reinforcement learning : methodological evolution and algorithmic design

Abstract

L'apprentissage par renforcement hors ligne (offline RL) vise à apprendre des politiques de décision à partir de données fixes, sans interaction avec l'environnement. Il est pertinent lorsque la collecte en ligne est coûteuse, risquée ou impossible. Toutefois, l'offline RL se heurte à des défis fondamentaux, notamment le décalage de distribution, les actions hors distribution (out-of-distribution, OOD) et l'erreur d'extrapolation, qui compliquent l'évaluation et l'amélioration fiables des politiques. Cette thèse étudie l'offline RL sans modèle avec deux objectifs : comprendre son évolution méthodologique et développer des algorithmes plus efficaces. Premièrement, cette thèse réexamine l'offline RL à la lumière de la deadly triad et en analyse les défis. Sur cette base, elle développe une taxonomie algorithmique de l'offline RL et retrace l'évolution de ses principes de conception. Plutôt que de considérer les méthodes existantes comme des catégories isolées, la thèse montre comment les familles algorithmiques émergent et évoluent face à des défis tels que la surestimation des valeurs et le décalage de distribution. Deuxièmement, afin de répondre à la tension entre l'apprentissage in-sample et l'apprentissage multi-pas, Projective Implicit Q-Learning (PIQL) est proposé. PIQL remplace l'expectile fixe d'Implicit Q-Learning par un paramètre adaptatif fondé sur la projection, autorisant une interprétation multi-pas tout en préservant la propriété d'apprentissage in-sample. En outre, PIQL adopte un objectif d'amélioration de politique sous contrainte de support, mieux aligné sur l'étape d'évaluation. L'analyse théorique établit une amélioration monotone de la politique ainsi qu'un critère plus strict pour les actions avantageuses, tandis que les expériences sur des benchmarks montrent de bonnes performances. Troisièmement, la thèse introduit le cadre Continuous Constraint Interpolation (CCI) et l'algorithme Automatic Constraint Policy Optimization (ACPO) pour unifier et adapter les contraintes de politique. CCI fournit une vision unifiée de l'optimisation où le clonage comportemental pondéré (weighted behavior cloning, wBC), la régularisation de densité fondée sur la divergence de Kullback-Leibler et les contraintes de support apparaissent comme des cas particuliers d'un spectre continu. Sur cette base, ACPO formalise l'apprentissage adaptatif des contraintes comme un problème primal-dual et ajuste automatiquement le paramètre d'interpolation. La thèse établit aussi un lemme de différence de performance à entropie maximale ainsi que des bornes inférieures pour la politique optimale et sa projection paramétrique. Les expériences montrent qu'ACPO obtient des résultats cohérents sur divers benchmarks d'offline RL. Quatrièmement, cette thèse étudie les modes de défaillance des méthodes d'offline RL fondées sur les CVAE et identifie le phénomène de latent action projection space collapse, par lequel l'effondrement du posterior affaiblit l'optimisation de politique en aval. Sur cette base, la thèse propose Expand Latent Action Projection SpacE (ELAPSE), une méthode qui élargit l'espace de projection. ELAPSE améliore l'articulation entre la modélisation générative du comportement et l'optimisation de politique, et les résultats empiriques montrent qu'elle améliore substantiellement les performances de méthodes représentatives d'offline RL fondées sur les CVAE. Dans l'ensemble, cette thèse étudie l'offline RL sans modèle sous des angles méthodologique et algorithmique. Sur le plan analytique, elle clarifie les défis et l'évolution méthodologique de l'offline RL. Sur le plan algorithmique, elle développe de nouvelles méthodes pour l'évaluation et l'amélioration de politique ainsi que pour la modélisation générative du comportement. Ensemble, ces contributions font progresser l'offline RL vers une prise de décision sur données statiques plus fiable, plus adaptative et mieux fondée théoriquement.