Chimie et apprentissage profond

EDOs neuronales

jeudi 21 avril 2016 - 17:30:00
intelligence_artificielle.png

En 2018, Chen et al. (1) ont exposé un travail sur les réseaux de neurones en montrant que dans le cas des réseaux résiduels, récurrents ou à normalisation de flux, il est possible de substituer à une discrétisation croissante une équation différentielle ordinaire (EDO). De cette manière, ces réseaux peuvent être décrits sans couches mais avec une EDO.

Ici, nous présentons le principe des EDOs neuronales de manière progressive, en nous adressant plus spécialement aux chimistes et aux biochimistes: Équations différentielles ordinaires neuronales

Les réseaux de neurones constituent une évolution importante dans le traitement des données lorsque celles-ci sont très nombreuses et/ou que la relation non-linéaire entre données d'entrée et de sortie est complexe à établir. En principe, l'augmentation du nombre de couches cachées et du nombre de neurones internes à ces couches doit rendre l'apprentissage profond plus performant. Toutefois, cette pratique conduit à une imprécision de l'apprentissage (que divers procédés tentent de résorber) qui retentit sur la capacité à prédire un résultat fiable. Cependant, une discrétisation de plus en plus fine s'apparente à la technique de traitement des pas infinitésimaux sur laquelle sont fondées les équations différentielles. L'idée centrale de Chen et al. [1] est de substituer les couches discrètes des réseaux par des équations différentielles ordinaires. Outre le fait que cette méthode permet de contrôler explicitement le compromis entre vitesse de calcul et précision, un autre de ses avantages est de pouvoir traiter des données d'entrée distribuées irrégulièrement en termes d'acquisition. Encore jeune, la méthode des EDO neuronales est prometteuse. Si elle peut jouer un grand rôle dans le traitements des données médicales, son potentiel devrait s'étendre à la (bio)chimie et la physique.

Cependant, il a été remarqué que les EDOs neuronales ne peuvent pas traiter toutes les fonctions. Une extension est proposée par Dupont et al. [2] pour résoudre cette limitation grâce aux EDOs neuronales augmentées (ANODEs pour Augmented Neural ODEs) donnant des solutions empiriquement plus stables avec une meilleure capacité de généralisation et un moindre coût de calcul. De nouvelles perpectives s'ouvrent encore avec les équations différentielles neuronales stochastiques à saut [3], utilisables par exemple en géophysique dans l'étude des tremblements de terre.
---

[1] R. T. Q Chen, Y. Rubanova, J. Bettencourt et D. Duvenaud, Neural Ordinary Differential Equations, 32nd Conference on Neural Information Processing Systems (NeurIPS 2018), Montréal, Canada, 2018.

[2] E. Dupont, A. Doucet et Y. W. Teh, Augmented Neural ODEs , 33rd Conference on Neural Information Processing Systems (NeurIPS 2018), Vancouver, Canada, 2019.

[3] J. Jia et A. R. Benson, Neural Jump Stochastic Differential Equations, 2019.


intelligence_artificielle.png