« Comme beaucoup de ma génération, je fumais beaucoup de dope au lycée ». Cette phrase n'est pas extraite d'une interview de Konbini, mais d'un article de recherche publié par un chercheur en économie. Son auteur n'est pas un anonyme. C'est Joshua Angrist, le prix de la banque de Suède (Nobel) 2021. Dans cette courte vidéo, je montre comment son anecdote légère illustre en fait une question fondamentale pour analyser les sociétés et l'impact des politiques publiques.
Comme cela est devenu coutume, voici quelques précisions :
Sur le message de la vidéo
- Le but de cette vidéo est de parler du phénomène des effets de pairs, de présenter les expériences naturelles, et de promouvoir en général l'évaluation quantitative des politiques publiques. Ce n'est peut-être pas explicite, mais mon but n'est pas ici de promouvoir l'usage de classes de niveau. Si je voulais défendre (ou attaquer) cette politique, il me faudrait plus que trois minutes et deux articles. Je ne cite ces études que parce qu'elles sont un exemple de comment des questions très abstraites (sur les effets de pairs) peuvent éclairer des débats plus concrets (sur la pertinence des classes de niveau), et aider à comprendre les résultats des évaluations des politiques publiques.
Sur mon explication des effets de pairs en éducation
- Un point important que je ne soulève pas explicitement dans ma vidéo : lorsqu'on fait des groupes de niveau, les élèves qui réussissent moins peuvent voir leurs résultats réduits du fait des effets de pairs, mais inversement, les effets de pairs peuvent augmenter les résultats dans la classe de ceux qui réussissent le mieux. Ainsi, théoriquement, selon le niveau initial des élèves, les effets de pairs peuvent agir différement sur le niveau scolaire des élèves. Cela complexifie l'analyse de leurs effets.
D'ailleurs, la conclusion de cette formidable revue de littérature sur les effets de pairs en éducation dans le primaire et le secondaire (et non à l'université comme dans l'étude à Darmouth que je cite) montre bien la complexité du sujet :
"Dans l’ensemble, et de manière assez conforme à l’intuition, les élèves ayant de bons résultats scolaires, ou issus de milieux socio-économiques favorisés, ont plutôt un effet d’entraînement sur l’ensemble des élèves. Inversement, la concentration d’élèves en difficulté scolaire, ou issus d’un environnement familial moins propice à la réussite scolaire, est un facteur pénalisant les performances scolaires, surtout pour ces groupes d’élèves. Il en résulte que les phénomènes de ségrégation peuvent aggraver les inégalités scolaires.
Ces résultats sont toutefois complexes à interpréter sur un plan normatif. Tout d’abord, les recherches ne permettent pas de déterminer un niveau « optimal » de mixité dans les établissements et les classes. De plus, la plupart d’entre elles laissent penser qu’il y aura toujours des gagnants et des perdants à une politique de déségrégation. Dans les recherches des économistes, les effets de pairs liés à la composition sociale et scolaire apparaissent souvent faibles au regard des enjeux de politique éducative, cette conclusion rejoignant un constat fait plus généralement dans les sciences de l’éducation (Hattie, 2002).
Enfin, en matière de parcours des élèves et de bien-être, l’intérêt de côtoyer des élèves d’un niveau social ou scolaire plus élevé n’a rien d’évident, et pourrait même être préjudiciable dans certaines situations. Les travaux récents traitant de ce sujet à l’aide de données françaises sont encore rares. Compte tenu de l’importance du thème de la mixité dans le débat public, ce manque doit être comblé par de nouvelles recherches. Celles-ci devraient également permettre de mieux comprendre les liens entre les effets de pairs et les autres dimensions du contexte scolaire. Il serait notamment souhaitable de les développer en direction des pratiques et compétences des enseignants, tout en prenant en compte le vécu et les attentes des élèves. Le développement de ces recherches implique aussi la construction et la mise à disposition de bases de données très riches (Thrupp, Lauder et Robinson, 2002)."
L'autre intérêt de cette revue de littérature est qu'elle synthétise aussi les résultats d'études sur les effets de pairs à l'école mais sur d'autres indicateurs que les notes : le crime ou la sociabilité : "En effet, plusieurs études mettent en avant des effets « sociaux » importants. Par exemple, au Danemark, Larsen et Kristensen (2017) constatent que les jeunes entrant au lycée professionnel ont une probabilité plus grande de commettre un délit lorsqu’ils côtoient, dans leur établissement, des camarades ayant déjà commis un délit durant leur scolarité au collège. Pour les jeunes ayant déjà commis au moins deux délits, la probabilité de récidive est fortement réduite lorsque la proportion de camarades au passé délinquant est plus faible. D’autres travaux montrent aussi que les comportements et la sociabilité des élèves sont soumis à des effets de pairs significatifs".
Pour les quelques geeks de l'éducation qui liraient cet article, on trouve aussi une synthèse (de cette synthèse) sur le café pédagogique.
- Joshua Angrist ne propose pas (seulement) d'utiliser des expériences naturelles pour distinguer effet de sélection et effets de pairs. Le corps de son article est de montrer avec une poignée d'équations qu'une méthode statistique particulière, l'usage de variable(s) instrumentale(s), permet sous certains hypothèses de distinguer sélection et effets de pairs.
Qu'est-ce qu'une variable instrumentale ? Sous quelles hypothèses permet-elle de démêler effets de pairs et de sélection ? Je cite ici la même revue de littérature sur les effets de pairs en éducation où le concept est clairement expliqué :
" L’existence de variables instrumentales [offre un autre moyen de distinguer corrélation et causalité]. (...) Concrètement, [dans le cas des effets de pairs en éducation par exemple, la méthode implique de] chercher une variable qui fait varier la composition des pairs mais n’a pas d’influence directe sur la réussite de l’élève. Toute la difficulté réside dans le choix de cette variation exogène permettant de limiter l’influence d’éventuels facteurs inobservés. Davezies [2005] et Goux et Maurin [2007] utilisent par exemple le mois de naissance comme variable instrumentale. En s’appuyant sur la relation entre le niveau scolaire de l’élève et son mois de naissance, ils observent que plus la part d’élèves appartenant au groupe des pairs nés en début d’année est importante, plus le niveau scolaire moyen de ce groupe est élevé. Les recherches utilisant cet instrument font l’hypothèse que cette corrélation traduit uniquement celle existant entre les acquis scolaires de chaque camarade de l’élève et son mois de naissance, et non l’influence de caractéristiques inobservées. Le choix d’une école et la constitution des classes sont ainsi supposés sans lien direct avec le mois de naissance.
Ces méthodes sont confrontées à deux limites. La première est qu’il est difficile de trouver une variation véritablement « exogène » de la composition d’une classe ou d’un voisinage. Même dans le cas d’une expérimentation, la validité de cette hypothèse dépend étroitement des conditions de sa mise en œuvre [Fougère, 2010]. La seconde limite de ces méthodes est que, dans de nombreux cas, l’identification provient d’une situation très particulière, un événement exceptionnel, une expérimentation sur un territoire ciblé, ou encore en se restreignant à un sous-échantillon des données. Dans tous ces cas, il est possible que les résultats dépendent de la situation particulière qui a été prise en compte, sans garantie de pouvoir généraliser les résultats à l’ensemble de la population."
Heureusement, si l'approche par variable instrumentale a ses limites, il existe d'autres méthodes pour distinguer corrélation et causalité en dehors du cadre d'une expérience contrôlée randomisée. Je continue à extraire et à polir des morceaux de l'article de Monso et al. (2020) - ceci permet aussi de découvrir un autre mérite de cette revue de littérature. Elle s'appuie autant que possible sur des études françaises :
"Dans d’autres situations, les économètres ne s’appuient sur aucun événement exceptionnel, mais isolent des situations où l’affectation des élèves aux classes est supposée être aléatoire, ce qui peut encore s’assimiler à une forme d’expérience naturelle.
Par exemple, Ly et Riegert [2016] s’intéressent aux effets des pratiques de composition des classes en seconde générale et technologique sur le parcours des élèves français. Ils se restreignent à des situations très spécifiques (1 % de leur échantillon de départ) dans lesquelles deux élèves d’un même lycée sont originaires d’un même collège, présentent des niveaux scolaires et des caractéristiques socio-démographiques similaires (âge, sexe, origine sociale, niveau scolaire mesuré par leurs notes à l’examen du diplôme national du brevet). Dans ce cas, on peut présumer que le chef d’établissement ne dispose pas d’autres informations sur ces élèves, et la répartition qu’il opère entre les classes de son lycée (en choisissant de laisser ces deux élèves dans la même classe ou de les séparer) peut être considérée comme aléatoire, conditionnellement à ces caractéristiques [comprendre : quand on contrôle par certaines caractéristiques].
La régulation des systèmes de choix d’établissements par des procédures centralisées offre également [un moyen de distinguer corrélation et causalité]. Dans ce type de système, qui est utilisé par exemple dans l’académie de Paris, les élèves à la fin du collège sont amenés à classer les lycées en fonction de leurs préférences (voir, par exemple, Fack et Grenet [2016] pour une description de la procédure). Les algorithmes utilisés visent à affecter l’ensemble des élèves en fonction de leurs préférences – mais également en fonction de celles des lycées. Compte tenu des contraintes de place, certains lycées parmi les plus réputés ne peuvent accueillir toutes les candidatures. Les élèves sont affectés selon des règles de priorité, qui dépendent en particulier de leurs résultats scolaires antérieurs, et d’autres critères (par exemple le fait d’être boursier à Paris). Cette règle crée mécaniquement des discontinuités dans les procédures d’affectation : un bon niveau scolaire augmente la probabilité d’être affecté dans un très bon lycée, mais à un certain seuil, la capacité d’accueil du lycée est atteinte. En pratique, des élèves ayant des résultats presque identiques à la fin du collège vont se retrouver, pour certains, dans un lycée élitiste, et d’autres dans des lycées d’un niveau moyen plus faible. On peut alors mesurer les effets liés à la fréquentation de pairs d’un très bon niveau, en comparant les résultats d’élèves dont les résultats sont initialement très proches. Dorénavant, certains côtoient des pairs de niveau plus faible, les autres sont scolarisés avec de meilleurs élèves, tout ceci en raison de la part d’arbitraire caractérisant la procédure d’affectation (être juste au-dessus ou juste en dessous du seuil d’admission)."
Ce type [de méthode pour distinguer corrélation et causalité], dit « régression avec discontinuité », a été fréquemment utilisé dans la période récente du fait de l’utilisation de ce type d’affectation dans les établissements. C’est le cas des travaux de Landaud, Ly et Maurin [2018] pour les lycées parisiens, d’Abdulkadiroğlu, Angrist et Pathak [2014] et de Dobbie et Fryer [2014] pour ceux de Boston et New-York, mais également d’Hoekstra, Mouganie et Wang [2018] en Chine, Pop-Eleches et Urquiola [2013] en Roumanie, Jackson [2010] pour Trinidad et Tobago, Lucas et Mbiti [2014] au Kenya."
Autres précisions mineures
- Au moment où Joshua Angrist publie son article, il trouve peu de preuves bien isolées de l'existence d'effets de pairs. Néanmoins, l'article a près de dix ans, et ne se concentre pas sur les effets de pairs en éducation comme ma vidéo et la revue de littérature que je cite.
- Dans l'étude de Duflo et al., "on ne laisse pas les classes comme elles étaient" comme je le dis. Dans le groupe contrôle, on compose les classes par tirage au sort pour s'assurer qu'il y a bien des élèves de tous les niveaux dans les classes de CP contrôle, et faciliter l'analyse statistique des effets de pairs dans le papier.
- Ce même article ne se contente pas de faire une expérience sur le tracking, les classes de niveau. Il construit aussi un modèle mathématique dont il teste les prédictions avec l'expérience contrôlée.
A bientôt !
Comments