Augmenter la capacité de mémorisation de systèmes intelligents grâce aux neurones humains

Des chercheurs de l’Institut Montefiore (Faculté des Sciences appliquées) de l’Université de Liège viennent de développer un nouveau neurone artificiel en s’inspirant des différents modes de fonctionnement des neurones humains. Baptisé Bistable Recurrent Cell (BRC), ce procédé a permis à des réseaux récurrents d’apprendre des relations temporelles de plus de mille unités discrètes de temps, là où les méthodes classiques échouaient après seulement une centaine d’unités de temps. Ces résultats importants font l’objet d’une publication dans le journal PLOS One.

L'

énorme intérêt voué à l’intelligence artificielle (IA) ces dernières années a permis le développement de techniques d’apprentissage automatique extrêmement performantes. Par exemple, les séries temporelles - toute série de données pour laquelle une composante temporelle est présente comme le cours de la bourse, l’évolution météorologique ou encore les électroencéphalogrammes -, de par leur nature, sont extrêmement fréquentes et présentent un grand intérêt vu leur vaste champs d’applications. L’analyse de séries temporelles est un type de tâche pour lequel les techniques d’apprentissage automatique ont un grand intérêt, permettant de prédire des évènements futurs sur base d’évènements passés. Vu la diversité d’applications potentielles, il est logique que le traitement de telles données via des algorithmes d’IA ait connu un fort engouement au cours de ces dernières années.

Un type particulier de réseau de neurones artificiels, appelé réseau récurrent (RNN), a été spécialement développé au cours de ces dernières années afin de disposer d’une mémoire qui permet au réseau de retenir de l’information au cours du temps afin de traiter une série temporelle correctement. A chaque nouvelle donnée reçue, le réseau met à jour sa mémoire pour retenir cette nouvelle information. Malgré ces développements, il reste toutefois difficile d’entraîner de tels réseaux et leur mémoire reste limitée dans le temps. « On peut imaginer l’exemple d’un réseau qui reçoit une nouvelle information tous les jours, explique Nicolas Vecocen, doctorant au sein du labo Systems and Modeling de l’Université de Liège et premier auteur de l’étude. Mais au bout du cinquantième jour, on remarque que l’information du premier jour sera oubliée. »

Les neurones humains sont quant à eux capables de retenir de l’information sur un temps quasiment infini grâce au mécanisme de bi-stabilité. « Celui-ci permet aux neurones de se stabiliser dans deux états différents, selon l’historique des courants qu’ils ont subis, et cela pour un temps infini, reprend le jeune chercheur. Autrement dit, grâce à ce mécanisme, les neurones humains peuvent retenir un bit (une valeur binaire) d’information pour un temps infini. » S’appuyant sur ce mécanisme de bi-stabilité, Nicolas Vecoven et ses collègues Damien Ernst (spécialiste de l’IA) et Guillaume Drion (spécialiste en neurosciences) de l’ULiège, ont construit un nouveau neurone artificiel, doté de ce même mécanisme, et l’ont intégré dans des réseaux artificiels récurrents . Baptisé Bistable Recurrent Cell (BRC), ce nouveau neurone artificiel a permis à des réseaux récurrents d’apprendre des relations temporelles de plus de 1000 pas de temps, là où les méthodes classiques échouaient après seulement une centaine de pas de temps. Des résultats importants et prometteurs qui font l’objet d’une publication dans la revue PLOS One. Les trois chercheurs poursuivent leurs recherche dans ce domaine particulier et continuent à développer des technologies pour améliorer les mémoires de réseaux de neurones récurrents (RNN - Recurrent neural networks), en favorisant l’émergence de points d’équilibre au sein de ces derniers.

Référence scientifique

VECOVEN Nicolas, ERNST Damien, DRION Guillaume, A bio-inspired bistable recurrent cell allows for long lasting memory, PLOS One, 8 june 2021. DOI

Contact

Nicolas Vecoven