Votre prochain projet IA promet peut-être une intelligence « à l’image du cerveau ». Sans outils comme CortexLab, ce n’est que du vent marketing — les vrais chercheurs et devs se demandent si les modèles collent vraiment aux schémas cérébraux humains.
Ce benchmark open source, basé sur TRIBE v2 de Meta, apporte une rigueur statistique. Du jour au lendemain, les développeurs d’IA — des indépendants aux équipes de labo — testent CLIP, DINOv2 ou LLaMA face à des prédictions fMRI. Fini les affirmations floues.
CortexLab.
C’est le toolkit qui débarque. Il superpose Representational Similarity Analysis (RSA), Centered Kernel Alignment (CKA) et Procrustes sur les prédictions cérébrales. Ajoutez tests de permutation, intervalles de confiance bootstrap, corrections FDR par région cérébrale. Plafonds de bruit aussi — la limite absolue de ce qui est possible.
Regardez les scores du benchmark synthétique. CLIP atteint un RSA modeste à +0,0407 (p=0,104). LLaMA-3.2-3B tombe à -0,0075 (p=0,642). Rien ne crie « jumeau cérébral ». Mais le clou : ces p-values et CI distinguent bruit et signal.
« TRIBE v2 fournit des prédictions brutes au niveau des sommets cérébraux. CortexLab ajoute : Tests statistiques (ce score est-il significatif ?), Interprétabilité (quelles ROI, quelle modalité, évolution temporelle ?), Cadre de comparaison de modèles (modèle A est-il vraiment meilleur que B ?). »
Le créateur tape dans le mille. Sans ça, TRIBE n’est que des prédictions. Avec CortexLab ? Des conclusions.
Quels Modèles d’IA Sont Vraiment « Cérébraux » ?
Réponse courte : Aucun, pour l’instant. V-JEPA2 frôle RSA à +0,0121, mais p=0,333 — non significatif. Les scores CKA culminent à 0,84-0,88, mais ils manquent de finesse pour les spécificités cérébrales. Pourquoi ? CKA mesure une similarité kernel globale ; le cerveau exige des alignements affinés par modalité.
Allez plus loin. CortexLab décortique par ROI — régions d’intérêt comme le cortex visuel ou auditif. Scores de charge cognitive sur dimensions visuelle, auditive, langage, exécutive. Latences de pic pour les hiérarchies de traitement. Corrélations de lag entre réponses soutenues et transitoires.
Et les réseaux ? Matrices de corrélation partielle pour la connectivité ROI. Modularité, métriques de centralité. Pas du jouet.
Côté pratique : tableau de bord Streamlit avec données synthétiques biologiquement réalistes (convolution HRF, lissage spatial). Ajustez les params en live. Adaptation inter-sujets pour pipelines BCI — calibration minimale. GitHub ici : https://github.com/siddhant-rajhans/cortexlab. Démo live : https://huggingface.co/spaces/SID2000/cortexlab-dashboard.
Mais.
Mon avis ? Ça rappelle les guerres de vision par ordinateur des années 2010. À l’époque, ImageNet a tué les machines à hype — les modèles sont passés de « pas mal » à dominants dès qu’on a mesuré correctement. CortexLab pourrait faire pareil pour la neuro-IA. Point clé : Sans lui, on refait les erreurs d’AlexNet, à chasser un « ressemblant cérébral » non benchmarké pendant que V-JEPA2 distance LLaMA dans les ROI visuels (selon CI préliminaires). Prono audacieux : D’ici 2026, les top labs exigeront les scores CortexLab dans les papiers, forçant les zoos de modèles à arborer des badges d’alignement cérébral.
Vérifions l’hype. TRIBE v2 de Meta a l’air clinquant — vidéo/audio/texte vers fMRI. Mais les sorties brutes ? Inutiles pour comparer. La couche stats de CortexLab la rend scientifique. Déjà 3 contributeurs externes, 76 tests. CC BY-NC 4.0.
Pourquoi CortexLab Compte pour les Développeurs IA ?
Devs, vous montez des modèles multimodaux à tour de bras. CLIP pour vision-langage, LLaMA pour texte. Mais alignement cérébral ? C’est le Graal pour les prétentions AGI — interprétabilité, efficacité, voire sécurité.
CortexLab vous laisse sonder : Votre fine-tune bat-il DINOv2 dans les ROI fonction exécutive ? Inférence streaming pour BCI temps réel. Comparaisons stats entre modèles — fini les viz cherry-pickées.
Dynamiq
