Notre cerveau est un organe très organisé. Les neurones, c’est-à-dire les cellules nerveuses responsables de la transmission des signaux électriques et chimiques dans tout le corps, sont organisés sur les tissus et ont tendance à se rassembler en groupes selon leur mode de fonctionnement. Par exemple, des études sur le langage ont révélé qu’il existe des clusters de neurones qui semblent être spécialisés dans les verbes et d’autres qui se concentrent spécifiquement sur les noms. Mais les chercheuses et chercheurs ne savent pas exactement comment ces groupes fonctionnels se forment.
Les modèles de langage d’IA précédents ont réussi à saisir ces clusters individuels de neurones fonctionnels, mais n’ont pas examiné leur disposition spatiale dans le cerveau. Des chercheuses et chercheurs du Laboratoire NeuroAI qui fait partie de la Faculté informatique et communications (IC) et de la Faculté des sciences de la vie (SV), ont créé TopoLM, un nouveau modèle de langage d’IA qui imite à la fois le regroupement fonctionnel des neurones et, pour la première fois, la disposition spatiale de ces cellules nerveuses dans le cerveau.
« En nous appuyant sur les travaux concernant le traitement de la vision par le cerveau, nous avons apporté quelques changements relativement mineurs à la façon dont un modèle de langage s’organise en interne, en ajoutant une règle qui encourage les représentations internes du modèle à être “fluides” spatialement. Le modèle TopoLM qui en résulte développe des clusters spatiaux de ses composants internes qui correspondent fonctionnellement à l’activité que nous observons dans le cerveau humain lorsqu’il traite le langage », explique le professeur assistant Martin Schrimpf, responsable du Laboratoire NeuroAI.
Dans leur article intitulé TopoLM: Brain-Like Spatio-Functional Organization in a Topographic Language Model, les chercheuses et chercheurs expliquent comment TopoLM a réussi à prédire la manière dont le système de langage dans la couche externe du cerveau, le cortex, développe son organisation spatio-fonctionnelle. « Il s’agissait d’une recherche fondamentale visant à comprendre l’origine des clusters spatiaux ou des clusters fonctionnels dans le cerveau. Ce nouveau modèle suggère qu’ils pourraient être régis par une règle de base unique sur l’organisation spatiale, selon laquelle les neurones proches ont simplement tendance à se comporter de la même manière », poursuit Martin Schrimpf. Les chercheuses et chercheurs estiment que TopoLM fournit un cadre pour améliorer l’alignement fonctionnel de l’IA sur la cognition humaine, offrant des applications directes au développement de l’informatique inspirée du cerveau et de la neurolinguistique.
Il s’agit d’une étape passionnante vers la création de systèmes d’intelligence artificielle qui s’organisent davantage comme le cerveau humain. « Avec TopoLM, nous nous rapprochons d’applications cliniques qui pourraient nous permettre d’aider les personnes souffrant de troubles du langage ou de déficits linguistiques similaires », indique Badr AlKhamissi, assistant-doctorant au Laboratoire NeuroAI et au Laboratoire de traitement du langage naturel (NLP) de la faculté IC et l’un des auteurs de l’article.
Ces travaux mettent également en lumière l’interprétabilité, c’est-à-dire la compréhension de ce qui se passe à l’intérieur des grands modèles de langage (LLM) complexes et de leur fonctionnement réel. L’équipe de recherche de l’EPFL va maintenant tester les prédictions du modèle dans le cerveau humain. « Ce modèle fonctionne si bien et mieux que prévu que nous voulons tester si ses prédictions sont vraies. Il y a des clusters dans le modèle que nous n’avons pas encore observés dans le cerveau humain parce que personne ne les a encore cherchés. Nous collaborerons avec des collègues des États-Unis qui travaillent expérimentalement avec des êtres humains pour mener une nouvelle étude d’imagerie afin de déterminer si ces clusters apparaissent également dans le cerveau humain », conclut Martin Schrimpf.
EPFL : https://actu.epfl.ch/news/un-nouveau-modele-de-langage-d-ia-qui-imite-l-orga/
