07 juin 2024

Innovation Algorithmique : Comment le Deep Learning Transforme la Résolution des Équations Différentielles

Le deep learning a marqué l’année 2023, avec le succès fulgurant des modèles de langages (LLMs) tels que ; ChatGpt (OpenAI)[1], Bard (Google)[2]. Ces derniers, entrainés sur des énormes quantités de données textuelles, arrivent à approximer la distribution probabilistique de leurs données d’entrainement. Ce qui leur permet de générer un texte pertinent et cohérent avec leurs données d’entrainement.

L’un des ingrédients principaux derrière la réussite de ces modèles est la quantité massive de données d’entrainement ~ 1.56 To (Bard, Google). Ce qui soulève la question de l’applicabilité du deep learning dans certains domaines où la quantité de données est très limite.

Dans plusieurs domaines industriels, les équations différentielles jouent un rôle clé dans la modélisation des différents paramètres du système industriel en question. Exemples ; aéronautique, écoulement de fluides, ingénierie du bâtiment, prédiction météo … . La résolution des équations différentielles dans ces domaines est une étape cruciale dans le process de modélisation. La résolution de la majorité de ces équations différentielles est effectuée aujourd’hui en utilisant des méthodes basées sur la discrétisation de ces équations, telles que ; éléments finis, différences fines, volumes finis.

Cependant ces méthodes de résolution deviennent très couteuses en temps de calcul (heurs, jours, semaines) dans le cas où les équations différentielles sont multi-dimensions, multi-variables et avec un grand nombre de points de résolution. Ce qui est souvent le cas dans la majorité des applications industrielles.

Cette limitation en temps de calcul allonge considérablement les temps des études scientifiques et limite (voir impossibilité) l’utilisation de certaines techniques d’optimisation qui nécessitent plusieurs résolutions de l’équation différentielle, tel que la MCMC (Markov Chain Monte Carlo) dans le cadre des problèmes inverses.

Dans ce contexte, où on fait face à des problèmes caractérisés par la grande dimensionalité, l’important nombre de paramètres et aussi la forte non-linéarité du problème, le deep learning peut représenter un bon candidat, vu ses succès dans les domaines : LLMs, Vision par ordinateur et la découverte de médicaments.

Cependant, les données ne sont pas aussi abondantes que dans le cas des LLMs. Cela est dû au coût élevé des méthodes conventionnelles de résolution des équations différentielles (heures, jours, semaines). Cela risque de poser un problème pour les approches deep learning qui sont connues pour être gourmandes en données d’entrainement.

Malgré cette limitation théorique, plusieurs approches deep learning ont été proposées pour la résolution des équations différentielles. Le principal avantage, attendu, d’une solution deep learning est la réduction significative du temps de calcul, on passe d’un ordre de grandeur (heures, jours, semaines) à un ordre de grandeur de quelques secondes !!

L’avantage précédant, est expliqué par le fait que les méthodes de résolution classiques (éléments finis, différences fines, volumes finis) résolvent littéralement l’équation différentielle à chaque appel (discrétisation, résolution systèmes linéaires, …). La solution deep learning effectue simplement une évaluation directe de la solution approximée de l’équation différentielle apprise pendant la phase d’apprentissage (pas de résolution de systèmes linéaires).

Comment est construite la solution deep learning ? selon l’état de l’art deux solutions sont possibles :

– Approximation avec des données de simulation (I):

Cette famille d’approches, nécessitent au préalable, de générer quelques simulations de l’équation différentielle, qu’on veut résoudre. Généralement le nombre de simulations est de l’ordre de quelques centaines de simulations (M = 500, 1000, 1500, …) . Les différentes variables inconnues de l’équation différentielle sont modélisées par une architecture deep learning. Example dans l’équation (1) ci-dessous les différentes variables inconnues sont u_1,…,u_N, gouvernées par l’ équation différentielle ED (e.g. Navier-stockes)

Dans (1) et (2), x regroupe tous les paramètres statiques (coordonnées spatiales, …) t représente la coordonnée temporelle.

Une solution deep learning modélise le vecteur des variables inconnues par un réseau deep learning noté  équation (2). Durant la phase d’apprentissage, on minimise l’écart entre  et  via une fonction coût notée L (3).

Dans l’équation (3) U_m est la m -ème simulation de l’équation différentielle ED. U ̂(x_m,t) Est la réponse correspondante générée par le réseau de neurones (voir Figure 1).

Dans la modélisation précédente le paramètre  est donné directement comme entrée à l’architecture , dans d’autres formulations le temps peut être passé implicitement en donnant comme entrée la prédiction au pas de temps précédent  (réseaux récurrents).

Un exemple de cette famille d’approches a été introduit dans l’article [3]. Les auteurs ont introduit une nouvelle architecture deep learning basée sur les opérateurs de Fourier pour résoudre des équations différentielles paramétrisées.

L’idée de cet article est d’utiliser le théorème de convolution (4) pour passer d’une convolution classique à une convolution dans l’espace de Fourier.

Ce passage présente deux avantages ; primo, une convolution dans l’espace Fourier (multiplication) est plus rapide à calculer qu’une convolution classique (convolution). Secundo, une convolution dans l’espace Fourier a un nombre de modes infinis non paramétrisés alors qu’une convolution classique présente un nombre de mode finis et paramétrisés ce qui limiter leur capacité d’apprentissage, en plus d’augmenter le nombre de paramètre de l’architecture.

La Figure 2 illustre la performance de l’architecture introduite dans [3] comparée à une méthode de résolution classique. Les équations différentielles en question sont les équations de Navier-Stockes. Dans ce cas M =1000 simulations ont été utilisées pour entrainer l’architecture deep learning.

Au niveau du temps de calcul, et pour effectuer 30.000 simulations il nous faut 2.2 minutes avec l’approche basée sur le deep learning dans [3] alors qu’une approche traditionnelle il faut compter 18 heures de temps de calcul !!! cet exemple montre que le deep learning peut être utilisé efficacement pour résoudre des équations différentielles avec un temps de calcul nettement inférieur à celui des méthodes classiques, ceci, tout en gardant une excellente qualité de prédiction.

  • Approximation avec des données de simulation + la physique (II):

La famille d’approche précédente essaye d’approximer la solution de l’équation différentielle en utilisant quelques simulations générées avec une méthode de résolution classique. L’inconvénient de l’approche précédente est le faite que l’équation différentielle ne soit pas prise en compte pendant le process d’apprentissage, ceci risque de ne pas garantir le respect de l’équation différentielle des solutions obtenues à partir du deep learning.

Une autre famille d’approches basée sur la méthode (Physics informed neural netwroks : PINNs)[4] présente un nouveau cadre de résolution des équations différentielles. Les PINNs prennent en compte l’équation différentielle durant la phase d’apprentissage. La fonction coût des PINNs est composée de deux parties ; une partie pour les simulations observées et une autre partie pour l’équation différentielle.

Une discrétisation des espaces  est nécessaire . Ces derniers points sont appelés des points de colocations. C’est sur ces points que la fonction cout équation différentielle sera évaluée (deuxième partie de l’équation (3)). ß est un hyperparamètre important dans l’apprentissage PINNs, il contrôle l’apport de la fonction coût équation différentielle.

L’apprentissage des PINNs est guidée par l’équation différentielle. L’inclusion de la fonction coût équation différentielle peut être aussi vu comme une forme de régularisation de la fonction coût global, ce qui peut être bénéfique pour une meilleure généralisation des solutions.

Le calcul de dérivées dans la fonction coût équation différentielle ne nécessite aucune méthode de discrétisation et peut être obtenu directement grâce à la méthode de différence automatique avec le théorème de dérivation des fonctions composées.

Dans la Figure 3, les auteurs du [4], montrent que les PINNs arrivent à résoudre l’équation de Burger [5] avec une erreur de mesure de l’ordre (en norme 2). Dans ce cas M=100 et P*Q =10000.

Dans l’article [6] les auteurs ont introduit une architecture deep learning pour modéliser la réponse d’un bâtiment sous l’effet d’un séisme. Un tel comportement peut être modéliser par l’équation différentielle suivante : est la masse du bâtiment.

sont respectivement le déplacement, la vitesse et l’accélération du bâtiment à la suite d’un mouvement du sol représenté par . Les inconnus principaux sont le déplacement, la vitesse et la fonction g ;.

Figure 4, illustre l’architecture deep learning [PhyCNNs] introduite dans [6]. L’architecture se base sur des réseaux de convolutions(1D) suivis par des réseaux fully-connected.

La Figure 5 illustre la performance de l’architecture PhyCNNs en comparant la prédiction obtenue avec PhyCNNs et la référence obtenue avec une méthode de résolution classique.

Dans l’approche PINNs, on utilise généralement une architecture deep learning type réseau de neurones « fully-conneceted » . Ce type d’architecture nous permet dériver facilement à n’importe l’ordre de dérivées, ceci en utilisant la différence automatique et le théorème de dérivation des fonctions composées. D’autres architectures deep learning peuvent être utilisées (réseaux convolutifs), exemple article [6], dans ce cas il faut utiliser une méthode de différence finie pour estimer les dérivées, ce qui peut rapidement devenir très couteux dans le cas des grandes dimensions et des ordres de dérivées très élevés.

Les approches type « PINNs » (II) sont généralement moins gourmandes en données de simulation comparées à la première famille d’approche (I), ceci est grâce à l’inclusion de l’équation différentielle dans l’apprentissage.  En revanche leur temps d’apprentissage est beaucoup plus élevé que celui de la première approche (I). Ceci est dû au nombre de points de colocation. Ce nombre augmente très rapidement avec la dimension des variables. En plus, le choix de la discrétisation des points de colocation n’est pas évident.

Dans les cas où les données de simulation ne proviennent pas directement de l’équation différentielle, par exemple, elles ont été mesurées directement sur le terrain, ces données ne sont pas nécessairement conformes à l’équation différentielle (erreur de mesure, équipement de mesure différent, etc.), cela risque de créer un conflit entre la fonction coût équation différentielle et la fonction coût données de simulation.

En conclusion, la première approche est plus flexible que l’approche PINNs (fonction coût plus simple, entrainement plus facile, indépendance de l’équation différentielle), avec seulement quelques simulations on peut approximer une solution de l’équation différentielle. Cependant, ne pas inclure l’équation différentielle dans le processus d’apprentissage, risque de donner des solutions qui ne respectent pas la physique. L’approche PINNs, de l’autre côté, inclus l’équation différentielle dans le processus d’apprentissage, ce qui permet de réduire le nombre de simulations nécessaires à l’apprentissage, régularisation de l’apprentissage, et aussi garantir des solutions qui respectent l’équation différentielle. Cependant, l’apprentissage PINNs est moins évident que celui de la première approche (temps d’apprentissage, tuning d’hyperparamètres, conformité entre la physique et les données d’apprentissage), dans la table en dessous on résume la comparaison entre les deux approches.

  Approche (I) Approche (II)
Difficulté d’apprentissage Facile (+) Intermédiaire/difficile (-)
Respect de la physique Pas garantie (-) Garantie grâce à l’ED (+)
Quantité de données Plus de données (-) Moins de données (+)
Temps d’apprentissage Intermédiaire (+) Long (-)

Table : comparaison entre les deux approches

[1]: https://openai.com/research/gpt-4

[2]: https://ai.google/static/documents/google-about-bard.pdf

[3]: Fourier Neural Operator for Parametric Partial Differential Equations, Zongyi Li and Nikola Kovachki and Kamyar Azizzadenesheli and Burigede Liu and Kaushik Bhattacharya and Andrew Stuart and Anima Anandkumar, 2021, arxiv

[4]: Physics Informed Deep Learning (Part I): Data-driven Solutions of Nonlinear Partial Differential Equations, Maziar Raissi and Paris Perdikaris and George Em Karniadakis, 2017, arXiv

[5]: C. Basdevant, M. Deville, P. Haldenwang, J. Lacroix, J. Ouazzani, R. Peyret, P. Orlandi, A. Patera, Spectral and finite difference solutions of the Burgers equation, Computers & fluids 14 (1986) 23–41.

[6] : Physics-guided convolutional neural network (PhyCNN) for data-driven seismic response modeling, Ruiyang Zhang and Yang Liu and Hao Sun, 2020, Engineering Structures

Abderrahmane Yewgat
Nous respectons
votre vie privée

En poursuivant votre navigation sur ce site, vous acceptez l’utilisation de cookies pour réaliser des statistiques de visites.