Brain-IT : l’IA israélienne qui reconstitue des images à partir de l’activité cérébrale
Développé à l’Institut Weizmann, en Israël, le modèle d’intelligence artificielle Brain-IT peut reconstruire des images observées par une personne à partir de son activité cérébrale. Une avancée qui améliore considérablement la précision du décodage cérébral et ouvre de nouvelles perspectives pour les neurosciences.
Un stade de baseball rempli de spectateurs, une balle en plein vol et un joueur prêt à frapper. À partir de la seule activité cérébrale d’une personne qui regarde cette scène, une intelligence artificielle est capable d’en reconstituer une représentation visuelle. Ce système, baptisé Brain-IT, a été développé par l’équipe de la professeure Michal Irani, au département d’informatique et de mathématiques appliquées de l’Institut Weizmann.
Contrairement aux modèles qui nécessitent de longues heures d’entraînement sur les données cérébrales d’un individu, Brain-IT exploite des caractéristiques de l’activité cérébrale communes à différentes personnes. Résultat : il peut apprendre à décoder les images vues par un nouvel individu avec seulement une heure de données d’imagerie cérébrale, selon ses concepteurs.
Une reconstruction plus précise des images
Ces dernières années, les progrès de l’intelligence artificielle ont permis de décoder certains signaux cérébraux et de les convertir en images ou en langage. Des technologies expérimentales ont également aidé des personnes souffrant de paralysie sévère à communiquer en traduisant leur activité cérébrale en paroles.
Toutefois, ces systèmes restent généralement adaptés à chaque individu et nécessitent d'importantes quantités de données pour fonctionner correctement.
Brain-IT cherche à dépasser cette limite. Le modèle ne se contente pas de reconnaître le sens général d’une image : il améliore également la reconstruction de ses caractéristiques visuelles, notamment sa composition et ses couleurs.
"Le nouveau modèle que nous avons développé surpasse les autres dans la reconstruction du contenu de l’image et de ses détails", explique Michal Irani.
Transformer le manque de données en avantage
Pour entraîner une intelligence artificielle capable de reconstruire des images à partir de signaux cérébraux, les chercheurs doivent disposer de milliers d’images associées à des données d’imagerie par résonance magnétique fonctionnelle (IRMf). Cette technique permet de mesurer indirectement l’activité cérébrale en observant les variations du flux sanguin.
Or, la collecte de ces données est longue et coûteuse. Elle implique de placer les participants dans des appareils d’IRM pendant des périodes prolongées. Les jeux de données disponibles dans ce domaine restent donc limités.
L’équipe de Michal Irani a choisi une approche originale pour contourner cette difficulté : développer deux modèles complémentaires, un décodeur et un encodeur.
Le décodeur apprend à reconstruire une image à partir d’un signal cérébral. L’encodeur, lui, effectue l’opération inverse en prédisant l’activité cérébrale qu’une image pourrait provoquer.
Les chercheurs ont ainsi créé un système capable de générer des données cérébrales estimées à partir d’images qui n’avaient jamais été présentées à des participants dans un appareil d’IRM. Ces données synthétiques sont ensuite utilisées pour entraîner le décodeur à reconstruire les images d’origine.
Cette méthode permet d’enrichir considérablement les exemples disponibles pour l’entraînement, sans devoir soumettre de nouveaux participants à des séances d’imagerie.
Une cartographie inédite du cerveau humain
L’un des résultats les plus intéressants de cette recherche concerne la compréhension du fonctionnement cérébral.
Pour tenir compte des différences entre les individus, les chercheurs ont divisé le cerveau en quelque 40 000 voxels, de petites unités de volume tridimensionnelles. Ils ont étudié la manière dont ces unités réagissaient aux différentes caractéristiques des images, comme les couleurs, la position des objets ou leur signification.
En combinant ces mesures avec les capacités d’analyse d’un modèle d’intelligence artificielle, l’équipe a identifié des motifs d’activité récurrents entre différents cerveaux.
Au cours de cet apprentissage, l’encodeur a fait émerger 128 régions fonctionnelles communes, associées à des rôles spécifiques dans le traitement des images. Certaines correspondent à des régions déjà connues des neuroscientifiques, tandis que d’autres révèlent des distinctions fonctionnelles jusqu’alors peu documentées.
Les chercheurs ont notamment observé une division du travail au sein du parahippocampal place area (PPA), une région cérébrale impliquée dans le traitement des scènes et des lieux : une partie réagit davantage aux environnements intérieurs, tandis qu’une autre répond aux scènes extérieures.
L’approche présente également un intérêt pour l’étude des mécanismes de perception. En comparant, par exemple, la réponse cérébrale prédite pour une même image en couleur et en noir et blanc, les scientifiques peuvent chercher à localiser les régions impliquées dans le traitement des couleurs.
Peut-on un jour décoder les rêves ?
Sélectionné pour être présenté à la conférence internationale ICLR (International Conference on Learning Representations), l’un des grands rendez-vous scientifiques consacrés à l’apprentissage automatique, Brain-IT illustre les avancées de la recherche israélienne à l’intersection de l’intelligence artificielle et des neurosciences.
L’équipe travaille désormais à étendre ces méthodes au décodage des informations auditives. La vidéo représente une autre frontière scientifique, mais elle pose un défi majeur : les images changent plusieurs dizaines de fois par seconde, alors qu’une acquisition d’IRMf prend environ deux secondes.
Cette différence entre la vitesse du cerveau et celle de la mesure rend particulièrement difficile la reconstruction de séquences dynamiques.
Pour Michal Irani, parvenir à surmonter ces obstacles pourrait ouvrir la voie à des applications encore plus ambitieuses, notamment l’étude de l’activité cérébrale pendant le sommeil.
Lire les rêves reste toutefois une perspective lointaine, et non une capacité actuelle de Brain-IT. Le modèle reconstruit aujourd’hui des images statiques à partir de l’activité cérébrale mesurée dans des conditions expérimentales. Il ne permet pas de lire librement les pensées d’une personne ni de restituer ses souvenirs avec une précision parfaite.
La prochaine étape consistera à comprendre comment les signaux cérébraux évoluent dans le temps et comment les différentes régions du cerveau collaborent pour représenter des scènes complexes. Une avancée qui pourrait, à terme, approfondir notre compréhension de la perception humaine et ouvrir de nouvelles pistes pour les technologies d’assistance destinées aux personnes privées de moyens de communication.
Caroline Haïat
Commentaires