Il y a quelques mois, je discutais avec un zététicien (défenseur des sciences) qui contestait mes propos au nom d'une pyramide des niveaux de preuves comme celle-ci:
Le but d'une pyramide des preuves est de hiérarchiser les preuves, de savoir quel type de sources il faut croire a priori sur un sujet donné.
Quel est le problème de ce type de schéma ? La place de la méta-analyse. Elle figure tout en haut de la pyramide, car elle est jugée la plus fiable. Une méta-analyse est une étude qui agrège les résultats d'autres études, et les mouline pour extraire un résultat moyen. Elle peut aussi permettre de comprendre ce qui explique la variabilité des résultats grâce à des techniques comme les analyses de sous-groupe ou la méta-régression.
Or, justement, la thèse "la méta-analyse constitue le meilleur niveau de preuve" me semble doublement contestable. Il y a des cas où des études seules sont bien plus fiables que des méta-analyses. Je pense que l’avis des sociétés savantes constitue un meilleur niveau de preuve.
D’une part, certaines méta-analyses peuvent être de très mauvaise qualité. C’est le cas, et ça arrive souvent, si la méta-analyse ne respecte pas certains garde-fous méthodologiques (ex: en économie, les conseils de la meta-analytic society in economics, critères GRADE en sciences médicales et j’en passe...). Me viens à l'esprit l'exemple de la méta-analyse en vote-counting. Dans ce type très précis de méta-analyse, on se contente de compter le nombre d’études positives et négatives. On se trouve dans une situation où on donne le même poids à des études de qualité différente. Jusqu’ici, il parait sans doute évident à beaucoup qu’une étude, et donc une méta-analyse peut être mal faite.
Mais d’autre part, des méta-analyses faites selon les règles de l’art peuvent être trompeuses si elles sont trop vielles. Si une méta-analyse a été faite en 1995, et qu’entre temps les méthodes se sont améliorées et le phénomène a changé, il n’est pas du tout sûr que cette méta constitue un niveau de preuve supérieur aux études d’après 1995. Pensez aux études sur l’effet de l’Hydroxychloroquine sur le COVID-19 (oui, le). Je crois que la plupart des zététiciens jugeraient plus fiables les résultats d'un essai contrôlé randomisé en double aveugle comme discovery qu'une méta-analyse sur des études observationnelles (non-expérimentales) de mars 2020.
Je crois que je n'apprends rien à une assez large part des zététiciens. Mais je ne compte pas mes échanges avec certains d’entre eux me citaient des méta de 1992, et je leur disais mais « il y a eu d’autres études depuis, avec d’autres méthodes » ... On me rétorquait alors, dogmatiquement, doctement « la méta-analyse est le meilleur niveau de preuve ».
L’argument de l’évolution des méthodes est particulièrement saillant quand on ne peut pas faire d’expériences contrôlées comme c’est le cas en sciences sociales, mais aussi en épidémiologie (diffusion du choléra, effet du confinement...). En économie par exemple, une vague de nouvelles études a permis de mesurer plus finement les effets du salaire minimum à partir du début des années 1990. J'en parle en détail dans la vidéo : Heureka, le SM, et les données. En une phrase : les études plus fines et rigoureuses ne trouvaient pas d'effet du salaire minimum sur le chômage. Les méta-analyses publiées depuis incluent les études les plus fiables, mais au milieu des années 1990, fallait-il croire la masse d'études moins fiables d'avant 1990 ou les quelques rares études plus fiables et plus récentes d'après 1990 ?
Oui, la méta-analyse est un outil puissant. Oui, on peut créditer les zététiciens de l’avoir vulgarisé face silence des médias de masse. Oui, certains zététiciens savent ce que j’ai écrit. Mais pas tous, vu la teneur de mes échanges. Mais que faire alors ? Quels critères employer pour classer les études a priori ? Voilà mon point central: il n’y en a pas.
On ne peut savoir a priori si une étude ou un groupe d’études sera plus fiable qu’une méta-analyse. Ceci dépend d’une multitude de facteurs. Seuls les experts peuvent les démêler. Toutes choses égales par ailleurs, une méta-analyse est peut-être meilleure qu’une seule étude. Mais en science, comme ailleurs, les choses ne sont pas toujours égales par ailleurs. Bien d’autres critères peuvent complètement étouffer ce signal.
On en vient donc à mon dernier point. Je pense qu’il faut abandonner l’argument de « j’ai une méta, et toi, une simple étude » quand on n’est pas un expert et qu’on ne connait pas les autres critères de pertinence. Il me semble que le meilleur proxy du consensus scientifique est l’avis d’une société d’experts (académie de médecine, GIEC, OCDE...). Et s’il y en a pas, il faut sans doute reconnaître ce que certains zététiciens n’ont pas admis, vu la teneur de mes échanges. Il n’y a pas de critères simples, et il faut être un expert d’une littérature pour la critiquer.
Cet article était à l'origine un thread twitter. Il se trouve que bien des zététiciens étaient d'accord avec moi. Le thread a même conduit une illustratrice, Florence Dellerie, à modifier un peu son illustration en y ajoutant une mention. Je la remercie encore. Voici le schéma final:
La mention ajoutée après notre discussion est le tiret qui contient : "Attention: cette hiérachisation est indicative, et elle a ses limites".