Reinforcement learning for the automation of high-order computational fluid dynamics

Abstract

High-order numerical methods provide high accuracy for the simulation of complex fluid flows, but their adoption in industrial computational fluid dynamics (CFD) applications remains limited by challenges related to computational efficiency, robustness and the need for manual parameter tuning. Among the available strategies to solve these issues, adaptive mesh refinement stands out, as it allows to focus computational resources in regions where they are most needed. In particular, p-adaptation, which dynamically modifies the polynomial order of the numerical approximation, offers a flexible mechanism to balance accuracy and cost. However, traditional p-adaptation techniques often rely on problem-dependent heuristics and user-defined parameters, which limits their generality and automation. This thesis investigates the use of reinforcement learning (RL) as a framework to automate and optimize p-adaptation strategies in high-order CFD solvers. The main objective is to develop a general and robust methodology capable of improving solver efficiency while reducing manual intervention. To this end, different RL algorithms have been explored, including deep reinforcement learning, as well as new algorithms designed for sparse-reward environments. After extensive analysis, a deterministic dynamic programming approach based on value iteration has been adopted due to its robustness, reproducibility and suitability for numerical simulations. Based on this algorithm, a novel RL-based p-adaptation strategy has been developed for high-order discontinuous Galerkin spectral element methods. The proposed approach exploits the tensor-product structure of the solver to translate one-dimensional adaptation decisions into multidimensional actions, which significantly reduces the computational cost of the training process. As a result, the RL agent can be trained offline using simplified 1D environments and later deployed in complex 2D and 3D problems. The trained agent is independent of the mesh, the physical problem and the governing equations, allowing it to be reused in different solvers without retraining. Beyond the mesh adaptation itself, this framework provides additional information through the value functions obtained during the training stage. This information has been exploited to develop complementary tools that further improve the efficiency of CFD simulations. In particular, a low-cost error estimator has been derived to approximate the spatial error in each element of the mesh, and an adaptive time-stepping strategy has been proposed to dynamically balance temporal and spatial errors during the simulation. Additionally, the p-adaptation methodology has been extended to improve simulations for aeroacoustic applications by selectively allocating higher polynomial orders along acoustic propagation paths. The proposed methodologies have been validated through a wide range of numerical experiments with increasing levels of complexity, including compressible and incompressible flows, multiphase problems and large-eddy simulations. The final validation case consists of a full wind turbine simulation with turbulence modelling, actuator lines and immersed boundaries. Despite the complexity of the problem and the fact that the RL agent was not specifically trained for this configuration, the p-adaptation strategy successfully captures the relevant flow features while reducing computational cost. Overall, the results demonstrate that the proposed RL-based p-adaptation algorithm, together with the derived error estimation and adaptive time-stepping strategies, contribute to reducing computational cost, improving accuracy and minimizing manual intervention in CFD workflows. These developments represent a step towards the integration of RL techniques within numerical solvers and highlight their potential for future applications in computational physics and scientific computing. RESUMEN Los métodos numéricos de alto orden proporcionan una elevada precisión en simulaciones complejas, pero su adopción en aplicaciones industriales de dinámica de fluidos computacional (CFD) está limitada por diversos factores, como la eficiencia computacional, la robustez y el ajuste manual de los parámetros. Entre las posibles estrategias para resolver estos problemas destaca la adaptación de malla, que permite emplear los recursos computacionales en aquellas regiones donde son más necesarios. En concreto, la adaptación-p permite modificar el orden polinómico de la solución numérica, y constituye un mecanismo flexible para equilibrar precisión y coste. No obstante, las técnicas tradicionales de adaptación-p suelen depender de cada problema y de parámetros definidos por el usuario, lo que limita su generalización. En esta tesis se investiga el aprendizaje por refuerzo (RL) para automatizar el uso de adaptación-p en códigos de alto orden para CFD. El objetivo principal es desarrollar una metodología general y robusta capaz de mejorar la eficiencia del código y de reducir la intervención manual. Para ello, se han explorado distintos algoritmos de RL, incluyendo aprendizaje profundo y nuevos algoritmos diseñados para entornos con recompensas dispersas. Tras un exhaustivo análisis, se ha adoptado un enfoque basado en el algoritmo value iteration, debido a su robustez, reproducibilidad y adecuación para aplicaciones numéricas. A partir de este algoritmo, se ha desarrollado una estrategia de adaptación-p basada en RL para métodos espectrales discontinuous Galerkin de alto orden. El enfoque propuesto aprovecha el producto tensorial para transformar decisiones de adaptación unidimensionales en multidimensionales, lo que reduce de forma significativa el coste del entrenamiento. En consecuencia, el agente de RL puede entrenarse utilizando entornos 1D simplificados y posteriormente aplicarse en simulaciones complejas 2D y 3D. El agente resultante es independiente de la malla, del problema físico y de las ecuaciones, lo que permite reutilizarlo en diferentes códigos sin necesidad de reentrenarlo. Más allá de la propia adaptación de malla, este enfoque proporciona información adicional a través de las value functions obtenidas durante el entrenamiento. Esta información se ha aprovechado para desarrollar herramientas complementarias que mejoran aún más la eficiencia de las simulaciones. En particular, se ha obtenido un estimador de error de bajo coste capaz de aproximar el error espacial en cada elemento de la malla, y se ha propuesto un paso temporal adaptativo que permite equilibrar los errores espaciales y temporales durante la simulación. Asimismo, la metodología de adaptación-p se ha extendido para mejorar problemas aeroacústicos mediante la asignación selectiva de órdenes polinómicos a lo largo de caminos acústicos. Las metodologías propuestas han sido validadas en una amplia variedad de experimentos numéricos con crecientes niveles de complejidad, incluyendo flujos compresibles e incompresibles, problemas multifásicos y simulaciones LES. El caso final de validación consiste en la simulación completa de un aerogenerador, que incorpora turbulencia, actuator lines e immersed boundaries. A pesar de la complejidad del problema, y del hecho de que el agente de RL no fue entrenado específicamente para esta configuración, la estrategia de adaptación-p logra capturar los fenómenos relevantes del flujo y reducir el coste computacional. En conjunto, los resultados demuestran que el algoritmo de adaptación-p, junto con el estimador de error y el paso temporal adaptativo, contribuyen a reducir el coste computacional, mejorar la precisión y minimizar la intervención manual. Todo ello representa un paso hacia la integración de técnicas de RL en los códigos numéricos y muestra su potencial para futuras aplicaciones en física computacional y computación científica.