Les propos sur ce blog n'engagent que leur auteur, Louis FREGET, et non tous les auteurs de l'étude en question. Toutes les citations sont traduites de l'anglais par moi-même. Les passages soulignés sont des liens hypertexte.
Dans le billet précédent, je présentais les limites de l'étude de Yanis Roussel et Didier Raoult que nous avons répliqué. Il s'agit d'une étude qui trouvait une corrélation parfaite entre les attitudes des médecins français envers l'hydroxychlroquine (HCQ) comme traitements contre le COVID-19 et leurs conflits d'intérêt avec Gilead Sciences - la société qui a promu le Remdesivir, un autre traitement potentiel contre le COVID-19. Plus les médecins auraient reçu d'argent de Gilead, moins ils seraient enclins à recommander dans les médias l'usage de l'HCQ. L'étude porte sur les infectiologues français, membres du Comité des Maladies Infectieuses et Tropicales (CMIT).
J'expliquais aussi comment nous tentions de contourner les limites de l'étude originale dans notre étude de réplication. Si vous ne l'avez pas déjà fait, je vous recommande chaleureusement de lire ce premier billet avant celui-ci.
Place maintenant aux principaux résultats de notre étude. Je dirais qu'ils sont au nombre de trois, et qu'ils différent assez sensiblement de ceux de l'étude originale :
1. On ne parvient pas (ou très mal) à prédire l'opinion exprimée d'un médecin sur l'HCQ à partir de ses financements par Gilead. Il n'y a pas de corrélation parfaite ou "quasi-parfaite" entre conflits d'intérêt avec Gilead et attitudes des médecins à l'égard de l'HCQ comme traitement contre le COVID. Souvent, l'association n'est même pas significative statistiquement. La méthode de Roussel et Raoult amplifie considérablement la corrélation entre les deux variables.
2. S'il y a une corrélation significative (mais non quasi-parfaite) entre financements totaux (par toute l'industrie pharmaceutique) et attitudes des médecins quant à la prescription de l'HCQ, il ne semble pas y avoir de lien privilégié entre Gilead Sciences et les attitudes envers l'HCQ, par rapport aux entreprises pharmaceutiques en général.
3. L'appartenance ou non à l'IHU est de loin le meilleur prédicteur des attitudes des médecins, suggérant qu'il faut au moins autant s'intéresser aux 'conflits d'intérêts institutionnels' qu'aux conflits d'intérêt financiers.
Le lecteur aguerri que vous êtes aura noté que je parle de corrélations, et que je ne fais pas d'affirmations causales. Je discute néanmoins de l'interprétation qu'on peut faire de ces résultats à la fin de l'article.
Premier résultat : pas de corrélation parfaite entre conflits d'intérêt avec Gilead et attitudes des médecins vis à vis de la prescription de l'HCQ
Il existe plusieurs manières d'évaluer la corrélation entre attitudes des médecins et financements par Gilead - j'en parle plus bas. Néanmoins, dans la majorité de nos tests statistiques, on ne trouve pas de corrélation significative entre conflits d'intérêt par Gilead et opinions exprimées à l'égard de l'HCQ.
Même en se concentrant sur les rares cas où la corrélation est significative statistiquement, elle est très loin d'être parfaite ou "quasi-parfaite" : on ne parvient pas (ou très mal) à prédire l'opinion exprimée d'un médecin sur l'HCQ à partir de ses financements. Même à considérer qu’une corrélation entre financements par Gilead et prise de position des médecins existe, celle-ci serait faible.
Nous peinons donc à reproduire la conclusion principale de l'article de Roussel et Raoult. Le graphique ci-dessous, issu de notre article, illustre bien ce résultat. En ordonnée, on trouve une note d'attitude publique vis à vis de l'usage de l'HCQ contre le COVID-19 (oui, le) de 50 membres du Comité des Maladies Infectieuses et Tropicales (CMIT) qui ont donné leur avis publiquement. En abscisse, on trouve la somme des financements de Gilead reçus par les médecins entre 2013 et 2019.
La relation est très vaguement négative : les médecins qui ont reçu plus d'argent de Gilead semblent un peu moins nombreux à défendre l'HCQ. Néanmoins, les points sont très dispersés autour de la droite. On voit un nombre important de médecins qui n'ont pas reçu de financement de Gilead et ont pour autant émis des opinions neutres ou défavorables quant à l'usage de l'HCQ pour traiter le COVID, et, dans une moindre mesure, on trouve aussi des médecins qui ont reçu beaucoup de financements par Gilead et ont pourtant émis une opinion au moins modérément positive sur la molécule.
Vous trouvez peut-être cette interprétation du graphique un peu approximative. Qu'à cela ne tienne : on peut mettre deux chiffres sur cette importante dispersion qu'on observe.
Le premier est le coefficient de détermination ou le R^2. C'est un chiffre entre 0 et 1 qui, très (trop) schématiquement mesure la capacité d'un indicateur à en prédire un autre. Une corrélation quasi-parfaite résulterait en un coefficient de détermination proche de 1, disons 80%. Sur ce graphique, ce coefficient est de... 6%. Toutefois, utiliser la méthode très singulière des deux auteurs de l'article d'origine fait bondir ce chiffre. Le coefficient de détermination passe à 67% -le coefficient de corrélation spearman, indicateur plus indiqué pour leur méthode est de 90%-, il s'agit donc d'une corrélation quasi-parfaite. Néanmoins, avec d'autres chercheurs comme le biostasticien Paul-Hans Piehpo, nous pensons que la méthode, disons conventionnelle, celle que nous employons, est la plus fiable. Pourquoi ?
La méthode de Raoult et Roussel consiste à calculer les financements moyens par rang de l'indicateur (-2, -1, 0, 1, 2), puis à calculer la corrélation avec les attitudes sur l'HCQ avec ces 5 observations agrégées plutôt qu'avec les 50 observations individuelles des médecins. C'est une pratique très surprenante, que les auteurs ne justifient pas dans l'article. Or, on perd énormément d'information en passant de 50 à 5 observations. On néglige la variabilité au sein de chaque rang : ainsi on voit sur le graphique que si certains infectiologues qui ont émis une opinion neutre ou négative sur l'HCQ ont reçu beaucoup de financement de Gilead, d'autres qui déconseillaient l'usage de l'HCQ en avaient reçu très peu ou aucun. La méthode de Roussel et Raoult conduit à surestimer considérablement la corrélation entre les deux variables.
Le deuxième chiffre intéressant est la p-value. C'est elle qui nous permet de savoie si le résultat est significatif statistiquement ou non. Dans la plupart de nos calculs, elle est de 10%, ce qui signifie qu'on aurait 10% de chance d'observer une relation aussi faible (ou forte) entre conflits d'intérêt par Gilead et attitudes publiques sur l'HCQ des médecins dans un monde où on saurait qu'il n'y a pas de vraie relation entre ces deux variables. C'est supérieur au seuil de 5% où on peut dire par convention que la relation est significative.
Lorsqu'on trouve un premier résultat, il est toujours intéressant de le jeter contre les murs pour vérifier s'il est solide. Est-ce que résultat tient quand on change un peu la manière dont on mesure cette corrélation ? Oui, comme je l'explique dans cette note de bas de page (1), on trouve sensiblement la même conclusion quand :
- On change la manière dont on fixe le score d'approbation de l'HCQ des médecins qui se sont exprimés plusieurs fois ;
- On change les méthodes statistiques - certaines sont peut-être plus adaptées quand on donne aux médecins une note ronde (-2, 1, 0, 1, 2), comme Roussel et Raoult dans leur papier original.
L'annexe de l'article contient encore d'autres tests de cette nature. Ils convergent vers notre conclusion : la corrélation financement par Gilead-attitudes des médecins à l'égard est parfois significative, souvent non-significative, et elle est toujours faible. Elle n'est donc pas quasi-parfaite.
Deuxième résultat : il ne semble pas y avoir de lien privilégié entre Gilead Sciences et les attitudes envers l'HCQ, par rapport aux entreprises pharmaceutiques en général.
Il existe bien une corrélation significative entre financements totaux et attitudes des médecin envers l'HCQ: (R^2 : 13%, p-value<5%). Néanmoins, contrairement à dans l'étude de Roussel et Raoult, ce lien est donc nettement plus fort que celui entre financements par Gilead et attitudes des médecins. Plus encore, il n'y a pas de corrélation entre le part des financements de chaque médecin par Gilead dans les financements totaux et leurs attitudes vis à vis de l’HCQ. Ainsi, il n'y a pas de lien spécifique entre les attitudes envers HCQ et les conflits d'intérêts avec Gilead Sciences, par rapport aux entreprises pharmaceutiques en général. Cela semble peu compatible avec la thèse que Gilead aurait orchestré le déclin de l'HCQ.
Troisième résultat: les 'conflits d'intérêts institutionnels' prédisent mieux les opinions que les conflits d'intérêts financiers
En revanche, la corrélation entre opinions sur l'HCQ et le fait d'être affilié ou non à l'IHU de Didier Raoult est très significative (p-value <0.000) et plus large que les autres (R^2= 30%). Les membres de l'IHU ont exprimé dans les médias des opinons beaucoup plus favorables à l'égard de l' HCQ que le reste des infectiologues.
Ceci suggère qu'il faut aussi considérer le rôle de facteurs plus institutionnels. Au sein d'une même unité de recherche, il peut exister des rapports de force particuliers qui désincitent à contredire le directeur d'un institut. Il peut également y avoir un effet de sélection. Qui se ressemble se rassemble : les membres de l'IHU peuvent avoir choisi cet institut car ils adhèrent aux mêmes valeurs qui poussent Didier Raoult à défendre l'usage de l'HCQ (confiance dans les études observationnelles plutôt qu'expérimentales, postulat qu'il faut plutôt juger d'une étude scientifique à l'aune des qualités individuelles de l'auteur que de celles de sa méthode, méfiance envers l'industrie pharmaceutique, ...). Enfin, il faut considérer ce que les économistes et les sociologues appellent des effets de pairs : certains comportements sont contagieux, car on imite ceux qui sont proches de nous, et il y a un coût à ne pas agir comme les membres du groupe auquel on s'identifie. Il existe des indices que les comportements des médecins sont affectés par ces effets de pair. Par exemple, cette étude trouve des indices de l'existence d'effets de pair entre médecins dans un autre contexte. Ce papier ne trouve des effets de pair qu'au sein des membres d'un même laboratoire, mais pas entre membres de laboratoires différents. C'est très intéressant, car c'est précisément le type de mécanisme qui peut expliquer la polarisation d'opinion qu'on observe dans les données. D'autre part, une expérience randomisée contrôlée menée aux Etats-Unis montre qu'une lettre indiquant à un médecin qu'il prescrit plus que la moyenne des médecins dans son Etat réduit ses prescriptions d'un neuroleptique.
Est-ce là la preuve que les infectiologues sont les pantins non pas de Gilead, mais de l'industrie pharmaceutique en général ? La distinction entre corrélation et causalité
Si on exclut les conflits d'intérêt institutionnels (affiliation ou non à l’IHU), la seule corrélation robuste est celle entre les financements totaux et les attitudes des médecins. Ce résultat est cohérent avec une assez large littérature sur le sujet qui trouve des corrélations entre comportements des médecins (notamment leurs prescriptions) et leurs conflits d'intérêt. En France, par exemple, cette étude concluait que les généralistes avec plus de conflits d'intérêt prescrivent plus. Cependant, on ne le dit jamais assez : corrélation n'est pas causalité. On peut ici discuter de la pertinence de deux biais, dont je parle dans presque tous mes articles :
Premièrement, il peut y avoir un biais dit de simultanéité. Qui de la poule ou de l'oeuf ? Est-ce que le fait de recevoir de l'argent de l'industrie pharmaceutique cause une hausse des prescriptions des médecins en les influençant ? Ou est-ce que le médecins qui prescrivent sont plus susceptibles de croire en les vertus de la médicamentation et de contracter avec les industries pharmaceutiques, si bien qu'ils prescriraient plus de toute façon ? Dans notre cas, est-ce que certains médecins sont 'pro-gilead' parce qu'ils ont reçu des financements ? Ou est-ce que ces médecins ont reçu des financements parce qu'ils sont pro-gilead ? A moins de considérer que Gilead a une politique particulière qui attire certains médecins plutôt que d'autres, cette objection est sans doute moins pertinente dans notre cas, car on associe les opinions des médecins à la somme de l'argent qu'ils ont reçu entre 2013 et 2019, c'est-à-dire avant la crise du COVID et les débats sur la prescription de l'HCQ.
Deuxièmement, il faut considérer ce qu'on appelle un biais de la variable omise. Peut-être qu'il existe des variables qui expliquent à la fois que certaines personnes reçoivent plus d'argent de l'industrie pharmaceutique et soient plus opposés à l'usage de l'HCQ. Ce ne serait alors pas les financements qui rendent les chercheurs anti-HCQ, mais le fait qu'il existe des causes communes au fait de recevoir de l'argent des entreprises pharmaceutiques et d'être anti-HCQ. Dans notre échantillon, les opposants à la prescription de l'HCQ ont souvent attaqué la rigueur méthodologique des études en sa faveur (études non-expérimentales qui empêchent de savoir si les patients avec de l'HCQ sont en meilleure santé à cause de la molécule ou parce qu'ils étaient en meilleur santé, biais du temps immortel, changement a posteriori des critères de jugement,...). Or, il est assez raisonnable de penser que les meilleurs chercheurs puissent aussi recevoir plus de financements, y compris du privé.
Il existe une première réponse statistique à ce biais de la variable omise. En effet, comme on peut tester si le salaire des femmes et des hommes diffère à poste, éducation, égales, on peut utiliser les mêmes méthodes statistiques pour vérifier si l'attitude des chercheurs diffère entre chercheurs qui ont reçu beaucoup et peu de financement de l'industrie pharmaceutique à compétence égale, ou en tout cas indicateurs censés mesurés la compétence égaux. On dit qu'on contrôle par ces variables, et c'est ce qu'on fait dans notre annexe, dont je recommande la lecture préalable à qui voudrait critiquer notre article.
Reste le plus dur : mesurer la compétence. Nous avons tenté de l'approximer avec plusieurs variables très imparfaites : h index (un indicateur qui mélange le nombre de publications et de citations par d'autres scientifiques), nombre de publications, âge, et statut universitaire (Docteur ou Professeur). Cependant, aucune de ces mesures de la compétence n'est significativement corrélée aux opinions exprimées dans les modèles qui incluent plusieurs variables à la fois. Si contrôler par ces variables réduit encore la significativité des liens attitudes-financements par Gilead, l'association attitude-financements totaux résiste bien (Annexe 9, table 12-13).
Néanmoins, le prestige des publications est un indicateur très imparfait de la compétence des chercheurs, en particulier alors qu'il a été démontré que les études les plus citées étaient les moins reproductibles. Dans l'esprit de la jolie formule d'Idriss Aberkane sur les notes, on pourrait dire que "la [compétence scientifique ainsi mesurée] est à la [compétence] ce que le cheval de bois est au vrai cheval".
Une autre variable omise pourrait être l'appartenance à l'IHU. Ses membres cumulent des financements faibles ou nuls, et ils ont aussi beaucoup de raisons d'être pro-HCQ, j'en parlais plus haut. On voyait sur le graphique au début de l'article que la faible relation négative entre financements et attitudes envers l'HCQ semble s'expliquer essentiellement par les membres de l'IHU (les triangles verts) qui cumulent absence de financement et attitudes très favorables quant à l'usage de l'HCQ. De fait, quand on exclut les chercheurs de l'IHU de l'échantillon, l'association attitudes-financement Gilead reste non significative (p=0,345), et la corrélation attitudes-financement total (par toutes les entreprises pharmaceutiques) devient non-significative (p=0,054) (2).
Toutefois, ajouter quelques contrôles ne suffit pas à corriger le biais de la variable omise. On peut avoir oublié des variables, et peut-être que certaines variables omises ne peuvent être mesurées. C'est la raison pour laquelle les méthodes expérimentales ont été inventées. Ici, idéalement pour pouvoir affirmer l'existence d'un lien de causalité, il faudrait faire une expérience où on tire au sort des médecins qui recevront des financements supplémentaires et ceux qui n'en recevront pas. Imaginons alors qu'on observe un écart de comportement entre les deux groupes. Ce sera la preuve d'un effet des financements. Par le tirage au sort, le fait d'avoir reçu plus de financements ou non sera le seul facteur qui pourrait expliquer que les médecins qui ont reçu des financements supplémentaires soient plus anti-HCQ (ou pro-HCQ) que ceux qui n'en ont pas reçu.
En pratique, cela semble difficile. En revanche, il existe des méthodes quasi-expérimentales, et dont il est beaucoup plus probable qu'elles puissent être employées un jour pour démêler causalité et corrélation dans ce contexte. Je parle de ces méthodes dans mon article sur l'efficacité du confinement, ou dans celui-ci sur le choléra, la taxe carbone et le port du voile. On m'a averti qu'une équipe de chercheurs travaillait actuellement en France sur le sujet avec ce type de méthodes. J'ai hâte de découvrir leurs résultats, et j'écrirai sur le sujet quand ils paraîtront. A ce stade, il est difficile de savoir si les corrélations que nous avons exhumé sont causales. On notera que d'un point de vue politique, ce type de corrélations peut suffire pour justifier qu'on régule les liens entre médecins et entreprises pharmaceutiques, régulations qu'on pourrait de toutes façons défendre sans ce type de données. Mais ce n'est pas mon sujet. Je m'intéresse dans mes recherches et sur ce blog à ce qui est, pas à ce qui devrait être - je reviens sur cette distinction dans cet article sur les discriminations à l'embauche.
Conclusion
Est-ce que Gilead a orchestré avec succès le déclin de l'HCQ comme traitement contre le COVID-19 ? On pourrait le croire à la lecture de la conclusion de l'étude originale, qui trouvait une corrélation parfaite entre le degré d'opposition publique à l'HCQ des infectiologues français et leurs financements par Gilead, et si on suppose que ce type de corrélation est causale.
Néanmoins, notre réplication montre que la corrélation entre attitudes vis à vis de l'HCQ et financement par Gilead est en réalité faible et fragile. Et en dehors du monde contrôlé des expériences, la distinction entre corrélation et causalité n'est jamais cosmétique. Quand on contrôle par l'affiliation à l'IHU, la relation financement par Gilead-attitudes disparaît complètement. Ceci suggère qu'elle s'explique par le fait que les pro-HCQ sont concentrés dans un institut qui a reçu peu de financement par Gilead et qui est dirigé par un chercheur qui défend l'usage de l''HCQ. Plus généralement, rien ne permet d'affirmer que les médecins pro-HCQ diffèrent seulement des médecins anti-HCQ (ou neutres) par les financements qu'ils ont reçu, et que c'est donc ce facteur qui explique leurs différentes prises de position vis-à-vis de l'HCQ. C'est ce type de précaution qui m'empêche d'affirmer que la corrélation modérée que nous trouvons entre financements totaux et attitudes vis à vis de l'HCQ est causale, même si elle ne semble pas s'expliquer par les quelques variables tierces que nous avons collectées. Il ne nous reste qu'à attendre le résultat d'études quasi-expérimentales, que je documenterai sur ce blog.
Quand bien même on ferait l'hypothèse (très lourde) que toutes nos corrélations seraient causales, l'effet des financements par Gilead sur les attitudes des médecins serait très faible, et celui des financements par toute l'industrie pharmaceutique au mieux modéré (3). Il faut se méfier des raisonnements monocausaux. Il y a une infinité d'autres facteurs qui peuvent déterminer les comportements des médecins. On peut penser aux résultats des études scientifiques, d'abord. Nos données montrent qu'entre août et décembre 2020, les infectiologues du CMIT ont émis des opinions significativement moins favorables à la prescription de l'HCQ et du Remdésivir qu'entre février et mai 2020. Or, cette période est justement celle où les études suggèrant l'inefficacité de ces deux molécules contre le COVID-19 commençaient à s'accumuler. On peut aussi penser aux conflits d'intérêt institutionnels dont je parlais plus haut. La seule forte corrélation que nous avons trouvé est celle entre l'affiliation à l'IHU et l'attitude à l'égard de l'HCQ comme traitement contre le COVID-19. Même si on veut faire de toutes ces corrélations des causalités, on ne peut pas nier que les conflits d'intérêt financiers semblent être une vague dans l'océan des raisons qui poussent les médecins à faire leurs choix, et que d'autres facteurs semblent jouer un rôle aussi important, voire nettement plus important.
Je finis ce billet de blog comme notre article de recherche, par cette citation de chercheur que Florian Cova a déniché : "Toutefois, il est naïf de ne voir dans les conflits d’intérêts que celui du financement, il en existe bien d’autres. Un des conflits les plus importants est le conflit idéologique, certaines personnes ont une approche religieuse des théories scientifiques. Celles-ci peuvent leur avoir permis de développer leur carrière, leur pensée, la remise en cause de ces théories les met en danger de leur croyance et peut déclencher des réactions extraordinairement violentes (...) Il existe bien sûr une autre source d'influence : les variables affectives. Nous considérons avec plus de bienveillance une théorie (même une qui va à l'encontre de notre propre vision du monde) lorsqu'elle émane d'une personne que nous aimons ou respectons." L'auteur de cet extrait est Didier Raoult, dans son livre La Science est un sport de combat.
******
(1) On notera que les médecins se sont parfois exprimés plusieurs fois, et que ce graphique représente leurs opinions les plus extrêmes à l'égard de l'usage de la molécule contre le COVID. Nous avons fait ce choix pour nous rapprocher de la méthodologie de Roussel et Raoult qui ne donnent qu'une note ronde aux médecins (-2, -1, 0, 1, 2). Il est pourtant difficile de savoir quel choix faire car les auteurs ne spécifient pas comment ils ont fixé la note quand un médecin s'était exprimé plusieurs fois. Ceci implique que notre variable expliquée, l'opinion des médecins est discrète (elle ne peut prendre que 5 valeurs) et non continue. Or, dans ce cas, il peut être plus d'indiqué d'employer une autre méthode, qui porte le nom poétique et léger de régression probit ordonnée. Avec cette méthode, on trouve une p-value de 10,3% : la relation entre financement par Gilead et attitudes envers l'HCQ n'est toujours pas significative. Toujours pas de corrélation parfaite à l'horizon.
De plus, nous avons mesuré cette relation en employant les opinions moyennes des médecins plutôt que les opinions plus extrêmes. Avec cette mesure des opinions qui s'éloigne de celle Raoult et Roussel, la corrélation devient significative. Elle n'est néanmoins toujours pas "quasi-parfaite" (R^2= 9%).
Il faut toujours vérifier que le résultat tient quand on change un peu la manière dont on mesure la corrélation. Les économistes appellent ce type d'exercice des tests de robustesse, et les épidémiologistes des analyses de sensibilité. C'est ce que nous avons fait dans notre annexe en ligne, disponible à ce lien. C'est très important pour deux raisons. Premièrement, même quand il n'y a pas de vraie relation entre les variables, on finira toujours par trouver une relation significative en multipliant les tests. C'est ce qu'on appelle le p-hacking, et c'est une des explications de la crise de la réplicabilité dont je parlais plus tôt. Lancez 1 000 000 de fois une pièce et vous finirez par faire 10 piles de suite, mais ça ne signifiera pas que la pièce n'est pas équilibrée. Deuxièmement, les résultats peuvent changer systématiquement avec la façon dont on mesure les variables (ici opinion moyenne contre opinion extrême) ou dont on calcule la corrélation (ici, avec les MCO ou un modèle probit ordonné, pour les plus nerds d'entre vous). Une autre mesure que nous avons prise pour éviter le p-hacking est d'avoir pré-enregistré nos analyses. Nous avons listé en ligne les tests statistiques que nous allions faire avant de les mener.
(2) Dans des modèles à plusieurs variables, l'appartenance à l'IHU est toujours significative, l'association financement par Gilead-attitudes ne l'est pas, et celle financement total- attitudes envers l'HCQ l'est (annexe 9).
(3) J'utilise ici une définition des tailles d'effet avec des coefficients de corrélation telle qu'on peut en trouver ici.