Utilisation de réseaux de neurones profonds pour prédire comment les sons naturels sont traités par le cerveau

Ces dernières années, les techniques d’apprentissage automatique ont accéléré et innové la recherche dans de nombreux domaines, dont les neurosciences. En identifiant des modèles dans les données expérimentales, ces modèles pourraient par exemple prédire les processus neuronaux associés à des expériences spécifiques ou au traitement de stimuli sensoriels.

Des chercheurs du CNRS et de l’Université d’Aix-Marseille et de l’Université de Maastricht ont récemment essayé d’utiliser des modèles informatiques pour prédire comment le cerveau humain transforme les sons en représentations sémantiques de ce qui se passe dans l’environnement environnant. Leur article, publié dans Neurosciences naturellesmontre que certains modèles basés sur des réseaux de neurones profonds (DNN) pourraient mieux prédire les processus neuronaux à partir de la neuroimagerie et des données expérimentales.

“Notre principal intérêt est de faire des prédictions numériques sur la façon dont les sons naturels sont perçus et représentés dans le cerveau, et d’utiliser des modèles informatiques pour comprendre comment nous transformons le signal acoustique entendu en une représentation sémantique des objets et des événements dans l’environnement auditif”, Bruno Giordano, l’un des chercheurs qui a mené l’étude, a déclaré à Medical Xpress. “L’un des principaux obstacles à cela n’est pas le manque de modèles informatiques – de nouveaux modèles sont publiés régulièrement – mais le manque de comparaisons systématiques de leur capacité à tenir compte des données comportementales ou de neuroimagerie.”

L’objectif clé des travaux récents de Giordano et de ses collègues était de comparer systématiquement les performances de différents modèles informatiques pour prédire les représentations neuronales des sons naturels. Dans leurs expériences, l’équipe a évalué trois classes de modèles informatiques, à savoir les DNN acoustiques, sémantiques et son-événement.

“Nous avons commencé à parler de la nécessité de procéder à une comparaison systématique des modèles informatiques au cours des premiers mois de la pandémie de COVID”, a expliqué Giordano. “Après quelques séances de remue-méninges à distance, nous avons réalisé que nous avions déjà les données dont nous avions besoin pour répondre à notre question : un ensemble de données comportementales recueillies en 2009 auprès de 20 participants canadiens qui ont estimé la dissemblance perçue d’un ensemble de 80 sons naturels, et un IRMf ensemble de données collecté en 2016 avec cinq participants néerlandais qui ont entendu un ensemble différent de 288 sons naturels pendant que nous enregistrions leurs réponses IRMf.

Sans avoir à collecter de nouvelles données en laboratoire, les chercheurs ont donc entrepris de tester les performances des trois approches de modélisation informatique qu’ils ont sélectionnées à partir des données recueillies lors d’expériences précédentes. Plus précisément, ils ont cartographié les stimuli sonores qui avaient été présentés aux participants humains sur différents modèles de calcul, puis ont mesuré dans quelle mesure ils pouvaient prédire comment les participants répondaient aux stimuli et ce qui se passait dans leur cerveau.

“Nous avons été stupéfaits de voir à quel point les DNN son-événement récemment développés par Google surpassaient les modèles acoustiques et sémantiques concurrents”, a déclaré Giordano. “Ils ont si bien prédit nos données comportementales et IRMf qu’en cartographiant les sons sur les DNN, nous avons pu prédire le comportement de nos participants canadiens de 2009 à partir des réponses IRMf de 2016 des participants néerlandais, même si les sons qu’ils ont entendus étaient complètement différents.”

Giordano et ses collègues ont découvert que les modèles basés sur le DNN dépassaient largement les approches informatiques basées sur l’acoustique et les techniques qui caractérisent les réponses cérébrales aux sons en les plaçant dans différentes catégories (par exemple, les voix, les sons de la rue, etc.). Par rapport à ces approches informatiques plus traditionnelles, les DNN pourraient prédire l’activité neuronale et les comportements des participants avec une précision nettement supérieure.

Sur la base de leurs observations et des résultats produits par les modèles basés sur DNN, les chercheurs ont également émis l’hypothèse que le cerveau humain donne un sens aux sons naturels de la même manière qu’il traite les mots. Alors que la signification des mots est déduite en traitant des lettres individuelles, des phénomes et des syllabes, cependant, la signification des sons peut être extraite en combinant un ensemble différent d’unités élémentaires.

“Nous travaillons actuellement à la collecte de nouvelles données de neuroimagerie pour tester les hypothèses spécifiques que notre étude a avancées sur ce que pourraient être ces unités élémentaires”, a ajouté Elia Formisano. “Nous travaillons également sur la formation de nouveaux réseaux de neurones plus “ressemblant au cerveau” pour le traitement des sons naturels. Par exemple, notre co-auteur, Michele Esposito, a développé un réseau de neurones qui apprend les représentations numériques des descripteurs sonores verbaux (incorporations sémantiques) , au lieu de catégories d’événements sonores. Ce réseau, qui doit être présenté à la Conférence internationale sur l’acoustique, la parole et le traitement du signal (ICASSP) 2023, surpasse les réseaux de Google en matière de prédiction de la perception sonore naturelle.”