Item List

Des quasi-expériences pour sauver la planète: l’eau sale, et la taxe carbone

Connaissez-vous le point commun entre le choléra, la théorie du ruissellement, la taxe carbone, les politiques pour permettre des économies d’énergie ou l'interdiction des signes religieux ostentatoires ? Tous ces sujets peuvent être étudiés à l'aide de quasi-expériences. A l'heure du péril écologique, ces méthodes constituent un outil très puissant pour trouver les moyens les moins douloureux de réduire les émissions de CO2. Comprendre ce qu'est une quasi-expérience ne fera pas repousser vos cheveux si vous avez de la calvitie. Cela ne résoudra pas vos problèmes de sommeil ou de libido. Je pense pourtant que cet article vaut quelques minutes de votre temps, et ce, pour quatre raisons : 1. Les quasi-expériences sont un outil puissant pour sauver la planète (enfin, l'humanité) : elles permettent de connaître l’effet des politiques environnementales. Cet article est l'occasion de reparler d'environnement (et d'énergie !), et il est important pour comprendre la future interview qui paraitra bientôt sur ce blog d'un spécialiste de la politique basée sur les preuves appliquée à l'environnement. 2. Plus généralement, cette méthode est très utile pour savoir l'*effet* de toute politiques publique, ce qui est intéressant pour tout citoyen comme vous et moi. D'ailleurs, cet article parle aussi de la théorie du ruissellement, et de l'impact de l'interdiction des signes religieux ostentatoires. 3. Il y a cette croyance chez certains sceptiques (défenseurs des sciences) qu'on ne peut prouver une causalité que lors d'une expérience aléatoire. La réalité est plus nuancée. 4. On va parler de voyage interdimensionnel. Un exemple d'une approche quasi-expérimentale à la taxe carbone Si je vous dis   « politiques pour lutter contre le réchauffement climatique », la taxe carbone vous viendra sans doute vite à l’esprit. Jean-Marc Jancovici défend avec beaucoup d’éloquence la mesure et une majorité d'économistes sont d'accord avec lui sur ce point. D'un point de vue théorique, la taxe carbone a bien des avantages dont je parlerai dans un autre article. Mais empiriquement, connaître les effets de la taxation carbone est plus compliqué qu'on pourrait le penser. Imaginons pour l'exemple qu'en France, en janvier 2024, une taxation carbone massive entre en vigueur. Si les émissions continuent à augmenter après que cette loi prenne effet, comment savoir si la taxe a été efficace ? Peut-être que les émissions auraient été encore plus hautes sans la taxe. Il ne s'agit pas d'une interrogation purement théorique. La croissance économique étant aujourd'hui riche en CO2, il est tout à fait possible que les émissions continuent à augmenter, même si ce serait un rythme moins soutenu que sans la taxe. Et dans une économie en récession, les émissions pourraient baisser à cause de la récession et non de la taxe. Ce type de question se pose quant à l'efficacité de toute politique environnementale. Sans évaluation rigoureuse, le risque est alors d'avancer à l'aveugle, en espérant finir par trouver un peu au hasard un cocktail de politiques assez efficaces pour réduire finalement le volume total des émissions. On perdrait alors du temps et la possibilité de savoir s’il aurait pu exister des moyens moins douloureux d’obtenir la même réduction du volume d’émissions. Pour le dire en termes plus formels, pour savoir l'effet de la taxe carbone sur les émissions dans un pays, il ne suffit pas de comparer le niveau des émissions après la réforme au niveau des émissions avant la réforme. Il faudrait idéalement comparer l'ampleur des émissions dans ce pays après la réforme au contrefactuel, c'est-à-dire au niveau des émissions dans ce même pays dans un monde parallèle où la réforme n'aurait pas été mise en place. Ce n'est possible qu'à l'aide d'une machine à voyager dans des univers parallèles. Problème: le développement de cette technologie est encore à un stade... embryonnaire. Rassurons-nous. Il existe des méthodes possibles pour approximer ce contrefactuel. En théorie, on pourrait faire une expérience où on tire au sort les entreprises qui auront à payer une taxe carbone, et les entreprises qui en seront exemptés dans un premier temps. Imaginons alors qu'on observe un écart d'émissions entre les deux groupes. Ce sera la preuve d'un effet de la taxation carbone: par le tirage au sort, le fait d'avoir été soumis à la taxe carbone ou non sera le seul facteur qui distingue les entreprises soumises à la taxe des entreprises qui en sont exemptées. En pratique, la mesure serait impossible à justifier politiquement. Néanmoins, il existe une solution de secours, certes un peu moins fiable, mais qui permet d’obtenir des indices précieux. Comme je l'expliquais dans mon article sur l'efficacité du confinement, lorsqu'on ne peut pas faire d'expériences, on peut adopter une approche dite quasi-expérimentale. La diffusion de ces méthodes en science économique est une facette de ce qu’on appelle parfois la révolution de crédibilité. Plus fiables, ces méthodes sont devenues populaires en économie et dans d'autres disciplines comme en sociologie, en science-politique à l’américaine ou même en médecine (voir cet autre exemple). Dans notre exemple fictif, une méthode quasi-expérimentale possible serait le différence-en-différence (DiD). Ce n'est pas la méthode reine des approches quasi-expérimentales, mais elle est flexible et facile à implémenter. Le DiD est né en santé publique, Snow l'a utilisé en 1856 pour montrer que le choléra se diffusait par l'eau sale. Cette technique a connu une nouvelle popularité dans les années 1990. Etudiant les effets du salaire minimum sur l'emploi, les économistes David Card et Alan B. Krueger (1994) ont utilisé cette méthode mais en la modernisant. Cette modernisation était nécessaire pour pouvoir savoir si les résultats du DiD sont significatifs statistiquement, et appliquer la méthode à de larges bases de données de panel, c'est-à-dire qui suivent plusieurs individus, entreprises, ou pays au cours du temps. Mais il n'est pas nécessaire de comprendre le détail de ces sophistications pour saisir l'esprit de la méthode. Le voici : pour reprendre notre exemple, on peut supposer qu'un pays dont les émissions auraient évolué au même rythme que la France quelques années avant la mise en place de la taxe carbone permettait d'approcher le contrefactuel de la France. Ce serait notre pays contrôle, comme un groupe contrôle. On pourrait alors estimer l'effet de notre taxe carbone en supposant que sans cette réforme, les émissions auraient continué à croître au même rythme que dans le groupe contrôle, comme avant la réforme. Si les émissions se mettent à augmenter plus vite dans le groupe contrôle qu’en France à partir de janvier 2024 comme dans la vidéo précédente, ce sera un indice que la réforme aura réduit les émissions en France. C'est là toute l'intuition de la méthode du DiD. Une hypothèse clef est celle des tendances parallèles : en l'absence de la taxe carbone, la France aurait suivi une trajectoire comparable en terme d'émissions à celle du pays contrôle. On peut vérifier que les tendances en termes d'émissions étaient comparables avant la mise en place de la politique. C'est même absolument nécessaire. Néanmoins, on ne peut pas vérifier que ce parallélisme se serait poursuivi après la mise en place de la taxe : faute de machine à voyager entre les mondes, on ne peut pas observer le niveau des émissions en 2024 dans une France qui n'aurait pas mis en place cette taxe carbone. Néanmoins, si aucune autre loi n'est entrée en vigueur en même temps que celle instaurant la taxation, cette hypothèse paraît raisonnable. Il serait surprenant que les trajectoires d'émission des deux pays se mettent à diverger pour une autre raison que la réforme... exactement au moment de la réforme, surtout s'il n'y a pas d'autre politique avec des effets comparables implémentée au même moment. Ce serait un sacré hasard ! C'est possible, mais improbable. Dans notre exemple, il faudrait imaginer que les entreprises se seraient mises à polluer significativement moins que les entreprises du pays contrôle précisément à partir de janvier 2024, date de l'entrée en vigueur de la politique, et non en décembre ou en novembre, et ce, pour une raison qui n'aurait rien avoir avec la politique de taxation carbone. Bien sûr, les comportements et les mentalités peuvent se mettre à diverger entre pays qui connaissaient des tendances similaires pour une raison que le chercheur ne sait pas saisir et mesurer. Cependant, il faut insister sur la discontinuité. Si un tel changement de 'culture' se produit, il serait sans doute incrémental. Il serait surprenant qu'il soit exactement synchronisé à l'implémentation de la politique, et qu'on n'en détecte pas de traces juste avant qu'elle prenne effet. Pour paraphraser Charles Darwin, on pourrait dire que "le [social] n'aime pas les discontinuités". Une difficulté toutefois avec cette approche est la possibilité d'effets d'anticipation: les agents peuvent changer leurs comportements en anticipation de la politique. Une solution ici serait d'estimer l'effet à partir de l'annonce de la mise en place de la taxe plutôt que de sa mise en vigueur. On notera aussi que toute notre stratégie repose sur l'existence d'un pays dont les émissions ont évolué au même rythme que celle de la France. Mais que faire si on n'en trouve pas ? Il existe de nombreuses solutions, l'une d'elle est celle du contrôle synthétique. Que faire en l’absence de tendances parallèles ? La méthode du contrôle synthétique Dans une contribution particulièrement intéressante, Andersson (2019) utilise la méthode du contrôle synthétique pour évaluer les effets de la mise en place d’une taxe carbone en Suède. Elle montre que les effets de la mesure ont été notables. La taxe carbone suédoise a réduit les émissions du pays, sans vraisemblablement réduire le PIB par habitant. Ce résultat est cohérent avec une vaste littérature économétrique sur les conséquences de la taxation carbone qui montre son efficacité et ses effets relativement contenus sur l’activité (source). Pour savoir que les émissions ont bien baissé à cause de la taxe carbone, l’économiste utilise justement la méthode du contrôle synthétique. Cette méthode a été introduite en économie/science-politique américaine, puis elle s’est diffusée dans d’autres disciplines comme la santé publique et l’épidémiologie. Ici, il s’agit de comparer les émissions en Suède à celles d’un groupe contrôle créé par le chercheur et dont la tendance était la même en termes d’émissions de CO2 que la Suède avant l’introduction de la taxe. Comme dans le différence-en-différence, si les tendances de la Suède et de ce groupe de contrôle cessent de coïncider juste après la taxe, c’est un vrai indice de l’effet de la taxe. Comment crée-t-on ce groupe de contrôle synthétique ? Ici, la méthode du contrôle synthétique permet de combiner les tendances des pays européens pour créer un groupe de contrôle valide. Pour comprendre comment, il faut bien avoir en tête ce qu'est une moyenne pondérée. Si vous vous figurez mal ce que c'est, rassurez-vous : vous en avez déjà croisé. A l'école, votre moyenne scolaire était (est) une moyenne pondérée. En effet, on pourrait aussi appeler les coefficients assignés à chaque matière des poids. Peut-être vous êtes vous déjà venu à l'esprit qu’avec assez de notes dans assez de matières, on peut obtenir n'importe quelle moyenne pourvu qu'on ajuste habilement les coefficients. Remplacez les notes dans différentes matières par les émissions dans différents pays et vous obtiendrez la méthode d'Anderson. Le chercheur compare l’évolution des émissions de CO2 à une moyenne pondérée des émissions des pays de l’OCDE (développés), moyenne dont les poids ont été ajustés pour coller à la série des émissions suédoises avant l’introduction de la taxe. Sur ce graphique issu de l'article, on voit le groupe contrôle synthétique en pointillé et les émissions effectives de la Suède en trait plein : Après 1990, date de la mise en place de la taxe, on voit nettement que les émissions de la Suède continuent à augmenter, mais bien moins vite que celles du groupe contrôle. Malgré l'échantillon plutôt réduit qui empêche de détecter des petits effets, cette différence entre la Suède et la Suède synthétique est statistiquement significative. Il existe plusieurs façons d'augmenter encore la fiabilité de ce résultat. Un problème possible naît de ce qu'on appelle l'overfitting. Dans la langue de Molière et de Kaaris, qui nous rappelle que "Les Hommes mentent mais pas les chiffres", on parle aussi de sur-apprentissage. Il est possible que les tendances divergent mécaniquement, simplement parce que les poids ont été ajustés sur une période antérieure à la mise en vigueur de la politique. Néanmoins, on peut employer ce qu'on appelle des tests placebo pour addresser ce biais. Par exemple, on peut ajuster les poids sur une période qui se finit bien avant la mise en place de la politique. Ceci revient à supposer que la taxe a été instaurée à une date bien inférieure à sa vraie date. Alors que la taxe carbone suédoise a été implémentée en 1990, Anderson (2019) la fixe artificiellement à 1980, et 1970 et constate que les tendances ne divergent pas avant que la taxe ait été mise en place. Et ceci n’est qu'un test dans la batterie de ceux que l’auteur mène pour vérifier la robustesse de leur résultat. Le contrôle synthétique n'est toutefois pas la seule manière de trouver des tendances comparables. Théorie du ruissellement, économies d'énergie, et port du voile : les techniques de matching et autres modernités Si plusieurs pays finissent par mettre en place une taxe carbone, on peut aussi combiner le DiD avec des techniques de matching. Elles consistent à utiliser des algorithmes qui fouillent des grandes bases de données pour trouver un pays (ou un ménage, une entreprise) qui a une tendance similaire avant l'introduction de la politique. C'est la solution qu'emploie cette étude très médiatisée sur la 'théorie du ruissellement', l'impact des politiques de baisse de la fiscalité sur les plus riches sur les inégalités et l'activité économique. Ici, la méthode des chercheurs pour trouver un contrefactuel pour chaque baisse de taxe revient (très schématiquement) à dire leur logiciel statistique : "pour chaque baisse de taxe dans un pays donné, fouille la base de données, et débrouille-toi pour me trouver un pays qui avait une tendance similaire en termes de politiques fiscales et de l'évolution de certaines variables (PIB par tête, ouverture commerciale, vote pour les partis de gauche)". Cette étude suggère que les baisses de taxe sur les riches augmentent les inégalités, mais ne semblent pas causer une hausse de la croissance, ou une baisse du chômage. Néanmoins, il existe encore des débats très riches en économie et statistique sur la bonne méthode lorsqu'on s'intéresse non plus à l'effet d'une politique sur un seul pays mais à l'effet d’une même politique implémentée à des moments différents dans plusieurs pays. Une autre méthode consiste à utiliser certains progrès des techniques de prédiction en data science. Par exemple, Christensen et al (2021) s'intéressent à un problème épineux : alors que la transition écologique nécessite des économies d’énergie, ceux permis par des politiques ciblées sur cet objectif sont systématiquement surestimés. En employant une de ces nouvelles méthodes, les chercheurs montrent que ces échecs de prédiction s'expliquent principalement non pas par un effet rebond (je paie moins cher donc je consomme plus), mais par l'hétérogénéité de la qualité des travaux de rénovation (par exemple, certains artisans sont moins efficaces que d'autres) et par des biais systématiques dans les modèles d'ingénierie qui tentent de prédire les économies d'énergie. Il faut prendre ces derniers résultats avec plus de distance. (Quasi-)expérience ou non, une étude suffit rarement. Mon billet est centré sur l'étude d'Andersson car ses résultats sont cohérents avec le reste de la littérature. Néanmoins, les résultats fournis par des approches quasi-expérimentales donnent parfois des résultats contradictoires. Je pense par exemple aux évaluations de l'interdiction des signes religieux ostentatoires menée dans les années 1990 et 2000 en France. Il semble qu'il va falloir plus de temps et d'études pour bien comprendre l'impact de ce type de politiques sur les jeunes musulmanes.

Corruption des médecins : a-t-on débunké Roussel et Raoult ? (2/2)

Les propos sur ce blog n'engagent que leur auteur, Louis FREGET, et non tous les auteurs de l'étude en question. Toutes les citations sont traduites de l'anglais par moi-même. Les passages soulignés sont des liens hypertexte. Dans le billet précédent, je présentais les limites de l'étude de Yanis Roussel et Didier Raoult que nous avons répliqué. Il s'agit d'une étude qui trouvait une corrélation parfaite entre les attitudes des médecins français envers l'hydroxychlroquine (HCQ) comme traitements contre le COVID-19 et leurs conflits d'intérêt avec Gilead Sciences - la société qui a promu le Remdesivir, un autre traitement potentiel contre le COVID-19. Plus les médecins auraient reçu d'argent de Gilead, moins ils seraient enclins à recommander dans les médias l'usage de l'HCQ. L'étude porte sur les infectiologues français, membres du Comité des Maladies Infectieuses et Tropicales (CMIT). J'expliquais aussi comment nous tentions de contourner les limites de l'étude originale dans notre étude de réplication. Si vous ne l'avez pas déjà fait, je vous recommande chaleureusement de lire ce premier billet avant celui-ci. Place maintenant aux principaux résultats de notre étude. Je dirais qu'ils sont au nombre de trois, et qu'ils différent assez sensiblement de ceux de l'étude originale : 1. On ne parvient pas (ou très mal) à prédire l'opinion exprimée d'un médecin sur l'HCQ à partir de ses financements par Gilead. Il n'y a pas de corrélation parfaite ou "quasi-parfaite" entre conflits d'intérêt avec Gilead et attitudes des médecins à l'égard de l'HCQ comme traitement contre le COVID. Souvent, l'association n'est même pas significative statistiquement. La méthode de Roussel et Raoult amplifie considérablement la corrélation entre les deux variables. 2. S'il y a une corrélation significative (mais non quasi-parfaite) entre financements totaux (par toute l'industrie pharmaceutique) et attitudes des médecins quant à la prescription de l'HCQ, il ne semble pas y avoir de lien privilégié entre Gilead Sciences et les attitudes envers l'HCQ, par rapport aux entreprises pharmaceutiques en général. 3. L'appartenance ou non à l'IHU est de loin le meilleur prédicteur des attitudes des médecins, suggérant qu'il faut au moins autant s'intéresser aux 'conflits d'intérêts institutionnels' qu'aux conflits d'intérêt financiers. Le lecteur aguerri que vous êtes aura noté que je parle de corrélations, et que je ne fais pas d'affirmations causales. Je discute néanmoins de l'interprétation qu'on peut faire de ces résultats à la fin de l'article. Premier résultat : pas de corrélation parfaite entre conflits d'intérêt avec Gilead et attitudes des médecins vis à vis de la prescription de l'HCQ Il existe plusieurs manières d'évaluer la corrélation entre attitudes des médecins et financements par Gilead - j'en parle plus bas. Néanmoins, dans la majorité de nos tests statistiques, on ne trouve pas de corrélation significative entre conflits d'intérêt par Gilead et opinions exprimées à l'égard de l'HCQ. Même en se concentrant sur les rares cas où la corrélation est significative statistiquement, elle est très loin d'être parfaite ou "quasi-parfaite" : on ne parvient pas (ou très mal) à prédire l'opinion exprimée d'un médecin sur l'HCQ à partir de ses financements. Même à considérer qu’une corrélation entre financements par Gilead et prise de position des médecins existe, celle-ci serait faible. Nous peinons donc à reproduire la conclusion principale de l'article de Roussel et Raoult. Le graphique ci-dessous, issu de notre article, illustre bien ce résultat. En ordonnée, on trouve une note d'attitude publique vis à vis de l'usage de l'HCQ contre le COVID-19 (oui, le) de 50 membres du Comité des Maladies Infectieuses et Tropicales (CMIT) qui ont donné leur avis publiquement. En abscisse, on trouve la somme des financements de Gilead reçus par les médecins entre 2013 et 2019. La relation est très vaguement négative : les médecins qui ont reçu plus d'argent de Gilead semblent un peu moins nombreux à défendre l'HCQ. Néanmoins, les points sont très dispersés autour de la droite. On voit un nombre important de médecins qui n'ont pas reçu de financement de Gilead et ont pour autant émis des opinions neutres ou défavorables quant à l'usage de l'HCQ pour traiter le COVID, et, dans une moindre mesure, on trouve aussi des médecins qui ont reçu beaucoup de financements par Gilead et ont pourtant émis une opinion au moins modérément positive sur la molécule. Vous trouvez peut-être cette interprétation du graphique un peu approximative. Qu'à cela ne tienne : on peut mettre deux chiffres sur cette importante dispersion qu'on observe. Le premier est le coefficient de détermination ou le R^2. C'est un chiffre entre 0 et 1 qui, très (trop) schématiquement mesure la capacité d'un indicateur à en prédire un autre. Une corrélation quasi-parfaite résulterait en un coefficient de détermination proche de 1, disons 80%. Sur ce graphique, ce coefficient est de... 6%. Toutefois, utiliser la méthode très singulière des deux auteurs de l'article d'origine fait bondir ce chiffre. Le coefficient de détermination passe à 67% -le coefficient de corrélation spearman, indicateur plus indiqué pour leur méthode est de 90%-, il s'agit donc d'une corrélation quasi-parfaite. Néanmoins, avec d'autres chercheurs comme le biostasticien Paul-Hans Piehpo, nous pensons que la méthode, disons conventionnelle, celle que nous employons, est la plus fiable. Pourquoi ? La méthode de Raoult et Roussel consiste à calculer les financements moyens par rang de l'indicateur (-2, -1, 0, 1, 2), puis à calculer la corrélation avec les attitudes sur l'HCQ avec ces 5 observations agrégées plutôt qu'avec les 50 observations individuelles des médecins. C'est une pratique très surprenante, que les auteurs ne justifient pas dans l'article. Or, on perd énormément d'information en passant de 50 à 5 observations. On néglige la variabilité au sein de chaque rang : ainsi on voit sur le graphique que si certains infectiologues qui ont émis une opinion neutre ou négative sur l'HCQ ont reçu beaucoup de financement de Gilead, d'autres qui déconseillaient l'usage de l'HCQ en avaient reçu très peu ou aucun. La méthode de Roussel et Raoult conduit à surestimer considérablement la corrélation entre les deux variables. Le deuxième chiffre intéressant est la p-value. C'est elle qui nous permet de savoie si le résultat est significatif statistiquement ou non. Dans la plupart de nos calculs, elle est de 10%, ce qui signifie qu'on aurait 10% de chance d'observer une relation aussi faible (ou forte) entre conflits d'intérêt par Gilead et attitudes publiques sur l'HCQ des médecins dans un monde où on saurait qu'il n'y a pas de vraie relation entre ces deux variables. C'est supérieur au seuil de 5% où on peut dire par convention que la relation est significative. Lorsqu'on trouve un premier résultat, il est toujours intéressant de le jeter contre les murs pour vérifier s'il est solide. Est-ce que résultat tient quand on change un peu la manière dont on mesure cette corrélation ? Oui, comme je l'explique dans cette note de bas de page (1), on trouve sensiblement la même conclusion quand : - On change la manière dont on fixe le score d'approbation de l'HCQ des médecins qui se sont exprimés plusieurs fois ; - On change les méthodes statistiques - certaines sont peut-être plus adaptées quand on donne aux médecins une note ronde (-2, 1, 0, 1, 2), comme Roussel et Raoult dans leur papier original. L'annexe de l'article contient encore d'autres tests de cette nature. Ils convergent vers notre conclusion : la corrélation financement par Gilead-attitudes des médecins à l'égard est parfois significative, souvent non-significative, et elle est toujours faible. Elle n'est donc pas quasi-parfaite. Deuxième résultat : il ne semble pas y avoir de lien privilégié entre Gilead Sciences et les attitudes envers l'HCQ, par rapport aux entreprises pharmaceutiques en général. Il existe bien une corrélation significative entre financements totaux et attitudes des médecin envers l'HCQ: (R^2 : 13%, p-value<5%). Néanmoins, contrairement à dans l'étude de Roussel et Raoult, ce lien est donc nettement plus fort que celui entre financements par Gilead et attitudes des médecins. Plus encore, il n'y a pas de corrélation entre le part des financements de chaque médecin par Gilead dans les financements totaux et leurs attitudes vis à vis de l’HCQ. Ainsi, il n'y a pas de lien spécifique entre les attitudes envers HCQ et les conflits d'intérêts avec Gilead Sciences, par rapport aux entreprises pharmaceutiques en général. Cela semble peu compatible avec la thèse que Gilead aurait orchestré le déclin de l'HCQ. Troisième résultat: les 'conflits d'intérêts institutionnels' prédisent mieux les opinions que les conflits d'intérêts financiers En revanche, la corrélation entre opinions sur l'HCQ et le fait d'être affilié ou non à l'IHU de Didier Raoult est très significative (p-value <0.000) et plus large que les autres (R^2= 30%). Les membres de l'IHU ont exprimé dans les médias des opinons beaucoup plus favorables à l'égard de l' HCQ que le reste des infectiologues. Ceci suggère qu'il faut aussi considérer le rôle de facteurs plus institutionnels. Au sein d'une même unité de recherche, il peut exister des rapports de force particuliers qui désincitent à contredire le directeur d'un institut. Il peut également y avoir un effet de sélection. Qui se ressemble se rassemble : les membres de l'IHU peuvent avoir choisi cet institut car ils adhèrent aux mêmes valeurs qui poussent Didier Raoult à défendre l'usage de l'HCQ (confiance dans les études observationnelles plutôt qu'expérimentales, postulat qu'il faut plutôt juger d'une étude scientifique à l'aune des qualités individuelles de l'auteur que de celles de sa méthode, méfiance envers l'industrie pharmaceutique, ...). Enfin, il faut considérer ce que les économistes et les sociologues appellent des effets de pairs : certains comportements sont contagieux, car on imite ceux qui sont proches de nous, et il y a un coût à ne pas agir comme les membres du groupe auquel on s'identifie. Il existe des indices que les comportements des médecins sont affectés par ces effets de pair. Par exemple, cette étude trouve des indices de l'existence d'effets de pair entre médecins dans un autre contexte. Ce papier ne trouve des effets de pair qu'au sein des membres d'un même laboratoire, mais pas entre membres de laboratoires différents. C'est très intéressant, car c'est précisément le type de mécanisme qui peut expliquer la polarisation d'opinion qu'on observe dans les données. D'autre part, une expérience randomisée contrôlée menée aux Etats-Unis montre qu'une lettre indiquant à un médecin qu'il prescrit plus que la moyenne des médecins dans son Etat réduit ses prescriptions d'un neuroleptique. Est-ce là la preuve que les infectiologues sont les pantins non pas de Gilead, mais de l'industrie pharmaceutique en général ? La distinction entre corrélation et causalité Si on exclut les conflits d'intérêt institutionnels (affiliation ou non à l’IHU), la seule corrélation robuste est celle entre les financements totaux et les attitudes des médecins. Ce résultat est cohérent avec une assez large littérature sur le sujet qui trouve des corrélations entre comportements des médecins (notamment leurs prescriptions) et leurs conflits d'intérêt. En France, par exemple, cette étude concluait que les généralistes avec plus de conflits d'intérêt prescrivent plus. Cependant, on ne le dit jamais assez : corrélation n'est pas causalité. On peut ici discuter de la pertinence de deux biais, dont je parle dans presque tous mes articles : Premièrement, il peut y avoir un biais dit de simultanéité. Qui de la poule ou de l'oeuf ? Est-ce que le fait de recevoir de l'argent de l'industrie pharmaceutique cause une hausse des prescriptions des médecins en les influençant ? Ou est-ce que le médecins qui prescrivent sont plus susceptibles de croire en les vertus de la médicamentation et de contracter avec les industries pharmaceutiques, si bien qu'ils prescriraient plus de toute façon ? Dans notre cas, est-ce que certains médecins sont 'pro-gilead' parce qu'ils ont reçu des financements ? Ou est-ce que ces médecins ont reçu des financements parce qu'ils sont pro-gilead ? A moins de considérer que Gilead a une politique particulière qui attire certains médecins plutôt que d'autres, cette objection est sans doute moins pertinente dans notre cas, car on associe les opinions des médecins à la somme de l'argent qu'ils ont reçu entre 2013 et 2019, c'est-à-dire avant la crise du COVID et les débats sur la prescription de l'HCQ. Deuxièmement, il faut considérer ce qu'on appelle un biais de la variable omise. Peut-être qu'il existe des variables qui expliquent à la fois que certaines personnes reçoivent plus d'argent de l'industrie pharmaceutique et soient plus opposés à l'usage de l'HCQ. Ce ne serait alors pas les financements qui rendent les chercheurs anti-HCQ, mais le fait qu'il existe des causes communes au fait de recevoir de l'argent des entreprises pharmaceutiques et d'être anti-HCQ. Dans notre échantillon, les opposants à la prescription de l'HCQ ont souvent attaqué la rigueur méthodologique des études en sa faveur (études non-expérimentales qui empêchent de savoir si les patients avec de l'HCQ sont en meilleure santé à cause de la molécule ou parce qu'ils étaient en meilleur santé, biais du temps immortel, changement a posteriori des critères de jugement,...). Or, il est assez raisonnable de penser que les meilleurs chercheurs puissent aussi recevoir plus de financements, y compris du privé. Il existe une première réponse statistique à ce biais de la variable omise. En effet, comme on peut tester si le salaire des femmes et des hommes diffère à poste, éducation, égales, on peut utiliser les mêmes méthodes statistiques pour vérifier si l'attitude des chercheurs diffère entre chercheurs qui ont reçu beaucoup et peu de financement de l'industrie pharmaceutique à compétence égale, ou en tout cas indicateurs censés mesurés la compétence égaux. On dit qu'on contrôle par ces variables, et c'est ce qu'on fait dans notre annexe, dont je recommande la lecture préalable à qui voudrait critiquer notre article. Reste le plus dur : mesurer la compétence. Nous avons tenté de l'approximer avec plusieurs variables très imparfaites : h index (un indicateur qui mélange le nombre de publications et de citations par d'autres scientifiques), nombre de publications, âge, et statut universitaire (Docteur ou Professeur). Cependant, aucune de ces mesures de la compétence n'est significativement corrélée aux opinions exprimées dans les modèles qui incluent plusieurs variables à la fois. Si contrôler par ces variables réduit encore la significativité des liens attitudes-financements par Gilead, l'association attitude-financements totaux résiste bien (Annexe 9, table 12-13). Néanmoins, le prestige des publications est un indicateur très imparfait de la compétence des chercheurs, en particulier alors qu'il a été démontré que les études les plus citées étaient les moins reproductibles. Dans l'esprit de la jolie formule d'Idriss Aberkane sur les notes, on pourrait dire que "la [compétence scientifique ainsi mesurée] est à la [compétence] ce que le cheval de bois est au vrai cheval". Une autre variable omise pourrait être l'appartenance à l'IHU. Ses membres cumulent des financements faibles ou nuls, et ils ont aussi beaucoup de raisons d'être pro-HCQ, j'en parlais plus haut. On voyait sur le graphique au début de l'article que la faible relation négative entre financements et attitudes envers l'HCQ semble s'expliquer essentiellement par les membres de l'IHU (les triangles verts) qui cumulent absence de financement et attitudes très favorables quant à l'usage de l'HCQ. De fait, quand on exclut les chercheurs de l'IHU de l'échantillon, l'association attitudes-financement Gilead reste non significative (p=0,345), et la corrélation attitudes-financement total (par toutes les entreprises pharmaceutiques) devient non-significative (p=0,054) (2). Toutefois, ajouter quelques contrôles ne suffit pas à corriger le biais de la variable omise. On peut avoir oublié des variables, et peut-être que certaines variables omises ne peuvent être mesurées. C'est la raison pour laquelle les méthodes expérimentales ont été inventées. Ici, idéalement pour pouvoir affirmer l'existence d'un lien de causalité, il faudrait faire une expérience où on tire au sort des médecins qui recevront des financements supplémentaires et ceux qui n'en recevront pas. Imaginons alors qu'on observe un écart de comportement entre les deux groupes. Ce sera la preuve d'un effet des financements. Par le tirage au sort, le fait d'avoir reçu plus de financements ou non sera le seul facteur qui pourrait expliquer que les médecins qui ont reçu des financements supplémentaires soient plus anti-HCQ (ou pro-HCQ) que ceux qui n'en ont pas reçu. En pratique, cela semble difficile. En revanche, il existe des méthodes quasi-expérimentales, et dont il est beaucoup plus probable qu'elles puissent être employées un jour pour démêler causalité et corrélation dans ce contexte. Je parle de ces méthodes dans mon article sur l'efficacité du confinement, ou dans celui-ci sur le choléra, la taxe carbone et le port du voile. On m'a averti qu'une équipe de chercheurs travaillait actuellement en France sur le sujet avec ce type de méthodes. J'ai hâte de découvrir leurs résultats, et j'écrirai sur le sujet quand ils paraîtront. A ce stade, il est difficile de savoir si les corrélations que nous avons exhumé sont causales. On notera que d'un point de vue politique, ce type de corrélations peut suffire pour justifier qu'on régule les liens entre médecins et entreprises pharmaceutiques, régulations qu'on pourrait de toutes façons défendre sans ce type de données. Mais ce n'est pas mon sujet. Je m'intéresse dans mes recherches et sur ce blog à ce qui est, pas à ce qui devrait être - je reviens sur cette distinction dans cet article sur les discriminations à l'embauche. Conclusion Est-ce que Gilead a orchestré avec succès le déclin de l'HCQ comme traitement contre le COVID-19 ? On pourrait le croire à la lecture de la conclusion de l'étude originale, qui trouvait une corrélation parfaite entre le degré d'opposition publique à l'HCQ des infectiologues français et leurs financements par Gilead, et si on suppose que ce type de corrélation est causale. Néanmoins, notre réplication montre que la corrélation entre attitudes vis à vis de l'HCQ et financement par Gilead est en réalité faible et fragile. Et en dehors du monde contrôlé des expériences, la distinction entre corrélation et causalité n'est jamais cosmétique. Quand on contrôle par l'affiliation à l'IHU, la relation financement par Gilead-attitudes disparaît complètement. Ceci suggère qu'elle s'explique par le fait que les pro-HCQ sont concentrés dans un institut qui a reçu peu de financement par Gilead et qui est dirigé par un chercheur qui défend l'usage de l''HCQ. Plus généralement, rien ne permet d'affirmer que les médecins pro-HCQ diffèrent seulement des médecins anti-HCQ (ou neutres) par les financements qu'ils ont reçu, et que c'est donc ce facteur qui explique leurs différentes prises de position vis-à-vis de l'HCQ. C'est ce type de précaution qui m'empêche d'affirmer que la corrélation modérée que nous trouvons entre financements totaux et attitudes vis à vis de l'HCQ est causale, même si elle ne semble pas s'expliquer par les quelques variables tierces que nous avons collectées. Il ne nous reste qu'à attendre le résultat d'études quasi-expérimentales, que je documenterai sur ce blog. Quand bien même on ferait l'hypothèse (très lourde) que toutes nos corrélations seraient causales, l'effet des financements par Gilead sur les attitudes des médecins serait très faible, et celui des financements par toute l'industrie pharmaceutique au mieux modéré (3). Il faut se méfier des raisonnements monocausaux. Il y a une infinité d'autres facteurs qui peuvent déterminer les comportements des médecins. On peut penser aux résultats des études scientifiques, d'abord. Nos données montrent qu'entre août et décembre 2020, les infectiologues du CMIT ont émis des opinions significativement moins favorables à la prescription de l'HCQ et du Remdésivir qu'entre février et mai 2020. Or, cette période est justement celle où les études suggèrant l'inefficacité de ces deux molécules contre le COVID-19 commençaient à s'accumuler. On peut aussi penser aux conflits d'intérêt institutionnels dont je parlais plus haut. La seule forte corrélation que nous avons trouvé est celle entre l'affiliation à l'IHU et l'attitude à l'égard de l'HCQ comme traitement contre le COVID-19. Même si on veut faire de toutes ces corrélations des causalités, on ne peut pas nier que les conflits d'intérêt financiers semblent être une vague dans l'océan des raisons qui poussent les médecins à faire leurs choix, et que d'autres facteurs semblent jouer un rôle aussi important, voire nettement plus important. Je finis ce billet de blog comme notre article de recherche, par cette citation de chercheur que Florian Cova a déniché : "Toutefois, il est naïf de ne voir dans les conflits d’intérêts que celui du financement, il en existe bien d’autres. Un des conflits les plus importants est le conflit idéologique, certaines personnes ont une approche religieuse des théories scientifiques. Celles-ci peuvent leur avoir permis de développer leur carrière, leur pensée, la remise en cause de ces théories les met en danger de leur croyance et peut déclencher des réactions extraordinairement violentes (...) Il existe bien sûr une autre source d'influence : les variables affectives. Nous considérons avec plus de bienveillance une théorie (même une qui va à l'encontre de notre propre vision du monde) lorsqu'elle émane d'une personne que nous aimons ou respectons." L'auteur de cet extrait est Didier Raoult, dans son livre La Science est un sport de combat. ****** (1) On notera que les médecins se sont parfois exprimés plusieurs fois, et que ce graphique représente leurs opinions les plus extrêmes à l'égard de l'usage de la molécule contre le COVID. Nous avons fait ce choix pour nous rapprocher de la méthodologie de Roussel et Raoult qui ne donnent qu'une note ronde aux médecins (-2, -1, 0, 1, 2). Il est pourtant difficile de savoir quel choix faire car les auteurs ne spécifient pas comment ils ont fixé la note quand un médecin s'était exprimé plusieurs fois. Ceci implique que notre variable expliquée, l'opinion des médecins est discrète (elle ne peut prendre que 5 valeurs) et non continue. Or, dans ce cas, il peut être plus d'indiqué d'employer une autre méthode, qui porte le nom poétique et léger de régression probit ordonnée. Avec cette méthode, on trouve une p-value de 10,3% : la relation entre financement par Gilead et attitudes envers l'HCQ n'est toujours pas significative. Toujours pas de corrélation parfaite à l'horizon. De plus, nous avons mesuré cette relation en employant les opinions moyennes des médecins plutôt que les opinions plus extrêmes. Avec cette mesure des opinions qui s'éloigne de celle Raoult et Roussel, la corrélation devient significative. Elle n'est néanmoins toujours pas "quasi-parfaite" (R^2= 9%). Il faut toujours vérifier que le résultat tient quand on change un peu la manière dont on mesure la corrélation. Les économistes appellent ce type d'exercice des tests de robustesse, et les épidémiologistes des analyses de sensibilité. C'est ce que nous avons fait dans notre annexe en ligne, disponible à ce lien. C'est très important pour deux raisons. Premièrement, même quand il n'y a pas de vraie relation entre les variables, on finira toujours par trouver une relation significative en multipliant les tests. C'est ce qu'on appelle le p-hacking, et c'est une des explications de la crise de la réplicabilité dont je parlais plus tôt. Lancez 1 000 000 de fois une pièce et vous finirez par faire 10 piles de suite, mais ça ne signifiera pas que la pièce n'est pas équilibrée. Deuxièmement, les résultats peuvent changer systématiquement avec la façon dont on mesure les variables (ici opinion moyenne contre opinion extrême) ou dont on calcule la corrélation (ici, avec les MCO ou un modèle probit ordonné, pour les plus nerds d'entre vous). Une autre mesure que nous avons prise pour éviter le p-hacking est d'avoir pré-enregistré nos analyses. Nous avons listé en ligne les tests statistiques que nous allions faire avant de les mener. (2) Dans des modèles à plusieurs variables, l'appartenance à l'IHU est toujours significative, l'association financement par Gilead-attitudes ne l'est pas, et celle financement total- attitudes envers l'HCQ l'est (annexe 9). (3) J'utilise ici une définition des tailles d'effet avec des coefficients de corrélation telle qu'on peut en trouver ici.

Corruption des médecins : a-t-on débunké Roussel et Raoult ? (½)

Les propos sur ce blog n'engagent que leur auteur, Louis FREGET, et non tous les auteurs de l'étude en question. Toutes les citations sont traduites de l'anglais par moi-même. Les passages soulignés sont des liens hypertexte. Pour la première fois sur ce blog, je vais vous parler un peu de mes recherches. Dans ce billet, je vais vous présenter une étude de réplication sur laquelle j'ai travaillé par intermittence depuis environ un an. Je suis un des deux principaux auteurs du papier, avec le philosophe expérimental Florian Cova qui y a au moins autant contribué que moi. Mais nous ne sommes pas les seuls auteurs. J'ai eu la chance de travailler sur ce projet avec deux médecins (Michael Rochoy et Valentin Ruggeri), une doctorante en philosophie (Céline Schöpfer), et un biostatisticien (Matthieu Mulot). Je suis ravi de cette collaboration. J'en ai appris beaucoup. (1) Une étude de réplication est une étude dans laquelle on tente de reproduire et de tester la robustesse des résultats d'une autre étude déjà parue. On peut faire cet exercice en réutilisant la base de données qui existe déjà, et le code informatique qui est nécessaire pour reproduire les résultats des analyses statistiques de l'article - on peut par exemple alors vérifier qu'il ne contient pas d'erreurs. On peut aussi collecter de nouvelles données pour mener des analyses comparables. Ici, nous avons été en quelque sorte forcé de récolter à nouveau les données car les auteurs de l'article original n'ont pas répondu aux demandes de notre équipe de chercheurs - ni à celles d'aucune autre à notre connaissance- de partager leurs données. La réplication est une pratique très courante en sciences. Elle est pratiquée par des chercheurs, et elle est souvent un passage obligé pour des étudiants se formant à la recherche. Elle est devenue particulièrement importante alors que le sciences médicales et sociales traversent ce qu'on appelle une crise de la réplication : on ne parvient pas systématiquement à reproduire les résultats de certaines études. Nous en parlions un peu dans cet épisode du Couarail Sceptique avec Olivier (l'Economiste Sceptique). Dans certaines disciplines, les chiffres sont terrifiants : seules 11% des études en oncologie sont reproductibles, et en général les taux de reproduction dépassent rarement 50%. Cette crise n’est pas la preuve qu’il ne faut pas croire la recherche scientifique. Elle implique simplement qu’il ne faut en général pas croire une seule étude, mais plutôt chercher un faisceau d’études qui ont la même conclusion. Les causes de cette situation sont multiples. Elles tiennent aux flous de certains protocoles, au fait que les résultats peuvent changer quand les contextes et les populations changent, à des erreurs de code informatique et de manipulations expérimentales, et beaucoup plus rarement à des manipulations intentionnelles des données. Qu'on ne parvienne pas à reproduire les résultats d'une étude ne dit pas nécessairement quelque chose de la compétence et de l'honnêteté de ses auteurs. Ici, justement, nous ne parvenons pas à reproduire toutes les conclusions de l'étude que nous répliquons. "Dites moi qui vous paie, Docteur, et je vous dirais quelle molécule vous défendez dans la presse" L'étude que nous répliquons a été très commentée dans la presse française. Soumise en mai 2020, il s'agit d'une étude dans laquelle Yanis Roussel et le Dr Raoult affirment que les conflits d'intérêt des médecins avec Gilead, société qui a promu le Remdesivir, un traitement potentiel contre le COVID-19 prédisent parfaitement l'opinion qu'ils ont exprimé publiquement sur un autre traitement concurrent et encore plus célèbre, l'hydroxychloroquine (HCQ) : plus les médecins ont reçu d'argent de Gilead, moins ils sont enclins à recommander l'usage de l'HCQ. Dites moi qui vous paie, et je vous dirais quelle molécule vous défendez publiquement. Plus formellement, l'étude porte sur les médecins et chercheurs membres du Comité des Maladies Infectieuses et Tropicales (CMIT). Roussel et Raoult (2020) trouvent une corrélation parfaite entre les attitudes des membres du CMIT vis à vis de l'HCQ et leurs conflits d'intérêt avec Gilead Sciences - la société qui a promu le Remdesivir (REM), un autre traitement potentiel contre le COVID-19. Roussel et Raoult le soulignent dans leur article "sans surprise, nous avons montré une corrélation, mais nous avons été impressionné par le niveau de la corrélation". Dans un autre article, intitulé "la guerre contre l'hydroxychloroquine", Roussel, Raoult et Chabrière sont encore plus fermes : "Nous avons pu montrer dans une étude qu'il y avait, en France, une corrélation inverse presque parfaite entre le niveau de financement reçu par Gilead au cours des six dernières années (déclaré sur le site de transparence du gouvernement) et les positions officielles prises à l'égard de l'hydroxychloroquine." Les auteurs sont ici trop modestes. On peut en effet calculer qu'avec la méthode qu'ils utilisent, la corrélation n'est pas quasi-parfaite mais parfaite. Si ce résultat est solide, il est intéressant et important, même si je reviens dans l'article suivant sur l'importance de la distinction entre causalité et corrélation dans ce contexte. Je ne l'apprends sans doute à aucun de mes lecteurs : L'hydroxychloroquine (HCQ) et son utilisation comme traitement contre le COVID-19 ont été au centre de débats passionnés, et elle semble aujourd'hui désavouée. Si cette corrélation existe, elle est cohérente avec la thèse que l'hostilité de certains médecins à l'égard de l'HCQ puis la baisse de la popularité de la molécule a peu avoir avec les preuves relatives de l'(in)efficacité de la molécule, mais qu'elle a en partie été orchestrée par des sociétés pharmaceutiques rivales comme Gilead cherchant à promouvoir leurs propres traitements. Une telle influence serait un problème majeur de santé publique. Cependant, l'étude de Roussel et Raoult a été très contestée pour sa méthodologie. Pour vérifier si les conclusions de l'étude étaient robustes à ces critiques, nous avons demandé aux auteurs de partager leurs données mais ils n'ont pas répondu. Qu'à cela ne tienne : il était possible de recollecter les données. Les données de financement des médecins sont en ligne sur eurodocs.eu. Il suffisait de les télécharger et de les appareiller à la liste des médecins membres du CMIT. Roussel et Raoult (2020) expliquent qu'ils ont cherché et codé les interventions des médecins sur Google News. Nous pouvions faire de même. Nous avions alors une base de donnée en main pour tenter de voir si en addressant les critiques, le résultat changeait. Les deux critiques centrales de l'étude de Raoult et Roussel, et comment nous avons tenté de les adresser Les critiques se sont concentrées sur deux points. Le premier concerne la mesure des opinions publiques exprimées par les infectiologues. Le deuxième concerne la méthode très originale que les deux auteurs utilisent pour mesurer la force de la relation entre attitudes des médecins envers la prescription de l'HCQ contre le COVID-19 et les financements qu'ils ont reçu par l'industrie pharmaceutique. Il a été soupçonné qu'elle puisse grandement accroître la corrélation entre les deux variables. Il ne s'agit pas là de pinaillage technique. S'il s'avère que ces critiques sont fondées, alors elles peuvent emporter la conclusion de l'étude. De l'art de mesurer le difficilement mesurable D'une part, pour mesurer le degré d'approbation des médecins, Roussel et Raoult utilisent une échelle, une note qui va de 1 (très favorable), à 5 (très défavorable) : 1= 'Très favorable', défini comme 'ayant exprimé un appel à la généralisation de l'utilisation de l'hydroxychloroquine, ou rapportant une utilisation réussie du traitement dans la structure du médecin'. 2= Favorable", défini comme "ayant reconnu un effet positif de l'hydroxychloroquine, tout en attendant la confirmation des résultats pour prendre position". 3= Neutre", défini comme "exprimant le besoin de plus d'études pour faire un commentaire sur l'efficacité du traitement". 4= Défavorable", défini comme "dans l'attente de plus de résultats, exprimant des commentaires négatifs sur l'hydroxychloroquine". 5= Très défavorable", défini comme "l'expression d'une colère à l'égard de la médiatisation de l'hydroxychloroquine, ou une opposition stricte à la généralisation de l'utilisation de l'hydroxychloroquine". Plusieurs critiques ont été formulées contre cette échelle, en particulier par le biostatisticien Hans-Peter Piehpo. Premièrement, cette échelle mélange pommes et poires. Nous ne comprenons pas quel type exact d'attitudes cette échelle a été construire pour mesurer. Pour citer un passage de notre article que je traduis en français : "dans certains cas, les catégories semblent évaluer si les médecins croient en l'efficacité de l'HCQ contre le COVID-19 ("avoir reconnu un effet positif de l'hydroxychloroquine", "exprimer le besoin de plus d'études pour faire tout commentaire sur l'efficacité du traitement") et s'ils promeuvent son utilisation dans la lutte contre le COVID-19 ("avoir exprimé un appel à la généralisation de l'utilisation de l'hydroxychloroquine"). A d'autres moments, elles évaluent l'attitude des médecins face à la médiatisation du débat sur l'HCQ ("expression de la colère face à la médiatisation de l'hydroxychloroquine"). Enfin, à d'autres moments, le critère est simplement très imprécis ("expression de commentaires négatifs sur l'hydroxychloroquine") : le fait d'informer le public sur les effets secondaires négatifs potentiels de l'HCQ est-il considéré comme des "commentaires négatifs" ? Ainsi, les catégories de codage de Roussel et Raoult mélangent plusieurs dimensions et critères d'appréciation : être contre la médiatisation du débat sur l'HCQ n'est pas la même chose que d'affirmer que l'HCQ est inefficace. Et faire des "commentaires négatifs" sur HCQ (par exemple, en soulignant ses effets secondaires négatifs potentiels) n'est pas la même chose qu'être contre la médiatisation du débat scientifique, ou être contre son utilisation dans le traitement du COVID-19. Plutôt que des attitudes à l'égard du HCQ, on pourrait dire que les catégories de codage de Roussel et Raoult sont plus susceptibles de mesurer des attitudes à l'égard de Didier Raoult et de la manière dont il a fait avancer son traitement contre le COVID-19. Cependant, on peut toujours juger négativement le comportement de Didier Raoult (par exemple, en pensant qu'il aurait dû attendre plus de données avant d'affirmer publiquement que le HCQ était efficace pour traiter le COVID-19), tout en ayant des attitudes neutres ou positives envers l'efficacité du HCQ." Deuxièmement, les catégories utilisées par Roussel et Raoult ne sont pas symétriques : alors que la définition des attitudes négatives pointe vers les états émotionnels des médecins ("exprimer de la colère"), il n'en va pas de même pour la définition des attitudes positives. Au contraire, les attitudes positives sont plus souvent définies en termes de données scientifiques ("rapporter une utilisation réussie du traitement dans l'établissement du médecin") que les attitudes négatives. Troisièmement, Roussel et Raoult n'expliquent jamais la procédure qu'ils ont utilisée pour mettre une note d'opposition à l'HCQ à chaque médecin. On ne sait pas s'ils avaient conscience ou non des financements des médecins au moment où ils leur attribuaient un degré d'opposition à l'HCQ- cela aurait pu les biaiser inconsciemment. D'autre part, Lorsqu'on utilise une nouvelle échelle pour mesurer un phénomène complexe à mesurer, il est toujours rassurant de vérifier si deux personnes qui utilisent cette échelle arrivent indépendamment à des scores proches. Est-ce ce que Roussel et Raoult ont fait ici ? Est-ce que les deux auteurs ont codé les données séparément puis comparé leurs réponses ? Si oui, ils auraient dû indiquer le degré d’accord inter- codeurs, par exemple en indiquant la corrélation entre les notes du premier et du deuxième codeur. Si ce n'est pas le cas, cela pose problème, car cela signifie que nous n'avons aucune estimation de la validité de leur procédure de codage. De plus, les auteurs ne spécifient pas comment ils ont fixé la note quand un médecin s'était exprimé plusieurs fois. Pour pallier ces trois problèmes, nous avons amélioré la méthodologie du papier de Roussel et Raoult dans deux mesures. D'une part, une fois les données des interventions des médecins recueillies, il a été demandé à chaque codeur de coder les interventions qu'il avait lui-même recueillies. Ensuite, un autre codeur codait à nouveau les mêmes interventions. Un troisième codeur a réglé les désaccords. Durant toutes ces étapes, les codeurs n'avaient pas conscience des financements des médecins. D'autre part, nous avons changé quelque peu l'échelle de Raoult et Roussel : 2 = " Très favorable " est défini comme " ayant exprimé un appel à la généralisation de l'utilisation de l'hydroxychloroquine/remdesivir, rapportant une utilisation réussie du traitement dans la structure du médecin, ou affirmant que le traitement fonctionne contre le COVID-19 ". 1 = "Favorable" est défini comme "ayant exprimé des attitudes positives (c'est-à-dire des espoirs, une probabilité d'efficacité) concernant l'utilisation de l'hydroxychloroquine/remdesivir, tout en attendant d'autres résultats pour prendre position". 0 = 'Neutre' est défini comme 'exprimant le besoin de plus d'études pour faire un commentaire sur l'efficacité du traitement'. -1 = "Défavorable" est défini comme "ayant exprimé des attitudes négatives (c'est-à-dire suspicion, probabilité d'inefficacité) sur l'utilisation de l'hydroxychloroquine/remdesivir, dans l'attente de plus de résultats pour prendre position". -2 = "Très défavorable" est défini comme "ayant exprimé un appel à l'interdiction de l'utilisation de l'hydroxychloroquine/remdesivir, ou rapportant une utilisation infructueuse du traitement dans l'établissement du médecin, ou affirmant que le traitement ne fonctionne pas contre le COVID-19". Notre échelle diffère de celle du papier original à plusieurs égards. Tout d'abord, nous avons essayé de rendre nos catégories de codage symétriques ("Très défavorable" reflète "Très favorable", tandis que "Défavorable" reflète "Favorable"). Ensuite, nous avons essayé d'évacuer les termes émotionnels (tels que "exprimer de la colère"). Ceux-ci auraient pu rendre notre codage plus subjectif. Enfin, mais c'est le plus important, nous avons essayé d'être plus précis sur la norme selon laquelle une opinion sur l'utilisation de l'HCQ devrait être considérée comme 'positive' ou 'négative' : leur efficacité dans le traitement et/ou la prévention du COVID-19. Il semble que notre échelle mesure bien quelque chose. On peut par exemple noter que la corrélation entre la note du premier et du deuxième codeur est forte, elle dépasse 80%. Lorsque nous rencontrions plusieurs opinions différentes des médecins, nous avons choisi l'opinion la plus extrême exprimée. Ceci nous permettait de nous rapprocher de la méthodologie de Roussel et Raoult qui ne donnent qu'une note ronde aux médecins (-2, -1, 0, 1, 2). Dans l'annexe néanmoins, nous refaisons tourner les mêmes modèles statistiques mais avec le score d'opinion moyen, et ceci ne change rien aux conclusions que je présente dans le prochain article. Mais avant de les découvrir, je vous recommande de lire la deuxième sous-section de ce billet. Une méthode qui gonfle artificiellement la corrélation ? Certains chercheurs comme Piehpo (2020) ont soulevé le fait que les méthodes statistiques de l'article pourraient avoir tendance à gonfler artificiellement les corrélations. Alors que Roussel et Raoult disposent de données sur les opinions de 44 médecins, ils calculent une corrélation basée sur... 5 observations. Pourquoi ? Roussel et Raoult font un choix très particulier. Les deux chercheurs auraient tout à fait pu utiliser les données individuelles des 44 médecins pour vérifier si ceux qui sont le plus opposés à l'usage de l'HCQ ont reçu plus de financements de Gilead. Néanmoins, ils ont choisi de calculer la moyenne des financements pour chacun des cinq notes possible sur cette échelle, puis d'estimer la corrélation entre ces 5 financements moyens et le degré d'opposition à l'HCQ. Or, on perd beaucoup d'informations en passant de 44 à 5 observations. (tableau issu de l'article original) Dans notre article, nous comparons les deux méthodes (méthode Raoult avec les financements moyens pour chaque note, et méthode standard avec corrélation calculée avec les données individuelles des médecins). Nous montrons que ce choix contribue à gonfler très largement la corrélation entre financements par Gilead et opinion des médecins sur l'HCQ, en transformant une faible corrélation en une très forte corrélation. Nous nous intéressons aux autres facteurs qui peuvent expliquer, ou, du moins prédire l'attitude des médecins vis à vis de l'HCQ (prestige académique de la recherche, affiliation ou non à l'IHU de Marseille que dirigeait alors le Dr Raoult...). Nous tentons aussi de comprendre si ces autres facteurs peuvent expliquer une potentielle relation entre opinion et financements. Est-ce que, s'il s'avère que les médecins anti-HCQ reçoivent plus de financements que les médecins pro-HCQ, ceci peut s'expliquer par le fait que les deux groupes de médecin ont d'autres caractéristiques qui les distinguent ? Je parle de tout ceci dans mon deuxième article de blog. Cliquez ici pour le découvrir. (1) En particulier, je dois à Florian l'analyse contenue dans la sous-section de cet article qui s'appelle "mesurer l'immesurable". Les économistes ne sont pas formés en psychométrie, et ça me semble bien dommage.

Idée reçue: est-ce que la méta-analyse est le meilleur niveau de preuve ?

Il y a quelques mois, je discutais avec un zététicien (défenseur des sciences) qui contestait mes propos au nom d'une pyramide des niveaux de preuves comme celle-ci: Le but d'une pyramide des preuves est de hiérarchiser les preuves, de savoir quel type de sources il faut croire a priori sur un sujet donné. Quel est le problème de ce type de schéma ? La place de la méta-analyse. Elle figure tout en haut de la pyramide, car elle est jugée la plus fiable. Une méta-analyse est une étude qui agrège les résultats d'autres études, et les mouline pour extraire un résultat moyen. Elle peut aussi permettre de comprendre ce qui explique la variabilité des résultats grâce à des techniques comme les analyses de sous-groupe ou la méta-régression. Or, justement, la thèse "la méta-analyse constitue le meilleur niveau de preuve" me semble doublement contestable. Il y a des cas où des études seules sont bien plus fiables que des méta-analyses. Je pense que l’avis des sociétés savantes constitue un meilleur niveau de preuve. D’une part, certaines méta-analyses peuvent être de très mauvaise qualité. C’est le cas, et ça arrive souvent, si la méta-analyse ne respecte pas certains garde-fous méthodologiques (ex: en économie, les conseils de la meta-analytic society in economics, et j’en passe...). Me viens à l'esprit l'exemple de la méta-analyse en vote-counting. Dans ce type très précis de méta-analyse, on se contente de compter le nombre d’études positives et négatives. On se trouve dans une situation où on donne le même poids à des études de qualité différente. Jusqu’ici, il parait sans doute évident à beaucoup qu’une étude, et donc une méta-analyse peut être mal faite. Mais d’autre part, des méta-analyses faites selon les règles de l’art peuvent être trompeuses si elles sont trop vielles. Si une méta-analyse a été faite en 1995, et qu’entre temps les méthodes se sont améliorées et le phénomène a changé, il n’est pas du tout sûr que cette méta constitue un niveau de preuve supérieur aux études d’après 1995. Pensez aux études sur l’effet de l’Hydroxychloroquine sur le COVID-19 (oui, le). Je crois que la plupart des zététiciens jugeraient plus fiables les résultats d'un essai contrôlé randomisé en double aveugle comme discovery qu'une méta-analyse sur des études observationnelles (non-expérimentales) de mars 2020. Je crois que je n'apprends rien à une assez large part des zététiciens. Mais je ne compte pas mes échanges avec certains d’entre eux me citaient des méta de 1992, et je leur disais mais « il y a eu d’autres études depuis, avec d’autres méthodes » ... On me rétorquait alors, dogmatiquement, doctement « la méta-analyse est le meilleur niveau de preuve ». L’argument de l’évolution des méthodes est particulièrement saillant quand on ne peut pas faire d’expériences contrôlées comme c’est le cas en sciences sociales, mais aussi en épidémiologie (diffusion du choléra, effet du confinement...). En économie par exemple, une vague de nouvelles études a permis de mesurer plus finement les effets du salaire minimum à partir du début des années 1990. J'en parlerai plus en détail dans un autre post de blog. Problème: les études plus fines et rigoureuses ne trouvaient pas d'effet du salaire minimum sur le chômage. Les méta-analyses publiées depuis incluent les études les plus fiables, mais au milieu des années 1990, fallait-il croire la masse d'études moins fiables d'avant 1990 ou les quelques rares études plus fiables et plus récentes d'après 1990 ? Oui, la méta-analyse est un outil puissant. Oui, on peut créditer les zététiciens de l’avoir vulgarisé face silence des médias de masse. Oui, certains zététiciens savent ce que j’ai écrit. Mais pas tous, vu la teneur de mes échanges. Mais que faire alors ? Quels critères employer pour classer les études a priori ? Voilà mon point central: il n’y en a pas. On ne peut savoir a priori si une étude ou un groupe d’études sera plus fiable qu’une méta-analyse. Ceci dépend d’une multitude de facteurs. Seuls les experts peuvent les démêler.
Toutes choses égales par ailleurs, une méta-analyse est peut-être meilleure qu’une seule étude. Mais en science, comme ailleurs, les choses ne sont pas toujours égales par ailleurs. Bien d’autres critères peuvent complètement étouffer ce signal. On en vient donc à mon dernier point. Je pense qu’il faut abandonner l’argument de « j’ai une méta, et toi, une simple étude » quand on n’est pas un expert et qu’on ne connait pas les autres critères de pertinence. Il me semble que le meilleur proxy du consensus scientifique est l’avis d’une société d’experts (académie de médecine, GIEC, OCDE...). Et s’il y en a pas, il faut sans doute reconnaître ce que certains zététiciens n’ont pas admis, vu la teneur de mes échanges. Il n’y a pas de critères simples, et il faut être un expert d’une littérature pour la critiquer. Cet article était à l'origine un thread twitter. Il se trouve que bien des zététiciens étaient d'accord avec moi. Le thread a même conduit une illustratrice, Florence Dellerie, à modifier un peu son illustration en y ajoutant une mention. Je la remercie encore. Voici le schéma final: La mention ajoutée après notre discussion est le tiret qui contient : "Attention: cette hiérachisation est indicative, et elle a ses limites". Je pourrais pinailler en disant que ces limites ne concernent pas uniquement les sciences sociales, mais aussi la physique, où on fait pas de méta-analyse ! Mais qu'importe, la mention n'est pas fausse et elle permet au moins de prendre du recul sur cet outil péagogique qu'est la pyramide des preuves.

Interview de Philippe Quirion (CNRS, CIRED): les énergies renouvelables et Jean-Marc Jancovici

(EDIT: J'ai ajouté les deux paragraphes en gras qui présentent l'esprit de la série d'articles quelques jours après sa parution) Jean-Marc Jancovici est omniprésent dans le débat médiatique. Sur certains des sujets sur lesquels il intervient souvent, comme le coût nucléaire, le lien énergie-économie, les limites du PIB ... le polytechnicien se livre à ses propres théorisations et estimations. Pourtant, il existe une littérature scientifique qu'il ne cite jamais mais qui aborde des sujets similaires ou proches des siens. Cet article est le premier d'une série, non pas de debunking, mais de mise en perspective: qu'apprend-t-on en confrontant certains des propos de Jean-Marc Jancovici à la littérature scientifique ? Vous pouvez découvrir plus sur cette série dans cet article. Philippe Quirion est docteur en économie de l’École des Mines de Paris. Il est chercheur au CNRS en économie de l’environnement et en économie de l’énergie. Il est également membre du bureau exécutif d’un important réseau d’ONG françaises sur le changement climatique: le réseau action climat. Je n'avais pas l'intention de discuter sur ce blog des propos de Jean-Marc Jancovici sur les énergies renouvelables, pour une excellente raison: je ne suis pas compétent pour en parler. Néanmoins, en contactant des experts pour relire mes posts sur le lien économie-énergie, Philippe Quirion m'a précisé qu'il s'agissait là de son sujet d'expertise, et nous avons commencé à en parler ensemble. J'ai beaucoup appris de ces échanges. J'ai pensé qu'il serait intéressant de vous les partager. Je les ai ainsi mis sous la forme d'une interview. Un Empiriciste: Dans un de ses posts de blog, Jean-Marc Jancovici (JMJ) estime le coût d'une énergie française produite à 100% par des renouvelables et le compare à celui du nucléaire. Sa conclusion est nette : "si nous prenons en compte tous les couts système (...), le nucléaire reste imbattable comme mode de production d’électricité décarbonée face aux modes « décentralisés ». (...) la meilleure idée est donc… de refaire du nucléaire. ". Que reprochez-vous à cette analyse ? Philippe Quirion: Jean-Marc Jancovici ignore complètement les publications scientifiques sur ce sujet. Elles sont pourtant très nombreuses à étudier les systèmes énergétiques basés sur des renouvelables, par exemple Brown et al. (2018). Plutôt que de se référer à l'état de l'art, et à recourir aux complexes modélisations qui sont la norme dans la littérature scientifique, Jean-Marc Jancovici choisit de faire des règles de 3 non-pertinentes. Dans un de mes récents articles de recherche, qui construit un modèle avec des hypothèses plus raisonnables, nous trouvons ainsi qu'à l'horizon 2050, le mix électrique optimal pour la France est en majorité renouvelable (Shirizadeh, et al. 2020). Notre estimation est pourtant très optimiste quant au coût du nouveau nucléaire. Elle suppose en effet que celui-ci sera deux fois inférieur à celui des EPR actuellement en chantier en Europe. Certaines estimations donnent un mix optimal majoritairement nucléaire. Néanmoins, il faut vraiment être très pessimiste sur les renouvelables et très optimiste sur le nucléaire. C'est pour cette raison que ce type d'estimations optimistes pour le nucléaire ne font pas consensus. Ainsi, (EDIT) voici comment le GIEC synthétise la littérature sur les mix compatibles avec un réchauffement climatique à 1,5 degrés (traduction de l'intervieweur) (1): "D'ici 2050, la part de l'électricité fournie par les énergies renouvelables passe de 23 % en 2015 à entre 59 et 97 % dans des trajectoires de 1,5 °C sans dépassement ou avec un dépassement limité." Note: les trajectoires avec dépassement sont celles où la température dépasse la barre des 1.5 degrés pour un temps, avant de finalement revenir sous ce seuil. Un Empiriciste: plus précisément, quelles hypothèses contestables fait Jean-Marc Jancovici ? Philippe Quirion: Concernant le stockage de l'énergie, l'estimation de JMJ est délirante pour au moins quatre raisons. Premièrement, il est absurde de séparer l'éolien et le solaire dans les calculs comme Jean-Marc Jancovici le fait. Les deux sources d'énergie sont complémentaires : on utilise plus de solaire en été et plus d'éolien en hiver. C'est particulièrement saillant lorsqu'on considère le facteur de charge par mois. Note: le facteur de charge mesure l'intensité de l'utilisation d'une source d'énergie, c'est le rapport entre l'énergie électrique effectivement produite par une unité de production (par exemple, une centrale) et l'énergie maximale que cette unité aurait pu produire. Sur ce graphique, on voit bien qu'en terme de capacité, la variabilité d'un mix 50 solaire, 50 éolien (la courbe noire) est bien moindre que celle du solaire et de l'éolien pris séparément (les courbes bleue et rouge) : Deuxièmement, JMJ suppose qu'il faut stocker toute l'électricité produite par les renouvelables. ("Nous allons faire l’hypothèse (à nouveau caricaturale, mais cela permet de sentir les ordres de grandeur) que nous souhaitons récupérer tout kWh produit par une éolienne quand il y a du vent, ou tout panneau solaire quand il y a du soleil, et calculer en ordre de grandeur la puissance de stockage et la fraction de l’électricité qui doit faire l’objet d’un stockage."). C'est absurde. Il faut un modèle pour savoir quelle part de la production stocker. On ne peut pas choisir ce ratio "à la main", au doigt mouillé. Troisièmement, si je comprends bien le billet de blog de Jean-Marc Jancovici, il n'actualise pas. (Note: L'actualisation est une technique comptable permettant de comparer des investissements de durées différentes). Or, l'actualisation pénalise les technologies à longue durée de vie et temps de construction long comme le nucléaire. Quatrièmement, l'article de Jean-Marc Jancovici ne mentionne que les stations de transfert d’énergie par pompage (STEP) pour stocker de l'énergie. Il existe d'autres technologies, et il est justement intéressant de les combiner. Certaines ont un coût par unité d'énergie faible comme le power-to-gas, un procédé qui permet de transformer l’énergie électrique en énergie chimique. D'autres un coût par unité de puissance faible et un meilleur rendement (batteries). C'est pour cela que dans nos simulations, nous combinons trois moyens de stockage différents: Outre les questions de stockage, bien d'autres hypothèses que JMJ fait sont en marge avec les données et la littérature. Dans le désordre, - les estimations de coût (euro par KW installé) sont en marge des celles des instituts spécialisés. JMJ surestime le coût de l'éolien, mais aussi du nucléaire. -JMJ sous-estime les durées de vie de l'éolien. Dans presque tous les cas, il les fixe à 20 ou 25 ans. Toutefois, le RTE (le gestionnaire du Réseau de Transport d’Electricité français) les estime à 30 ans pour le solaire et l'éolien. C'est aussi l'estimation des développeurs américains (Wiser et al. , 2019, voir le graphique ci-dessous). - JMJ sous-estime aussi les facteurs de charge des éoliennes onshore (terrestre) et le solaire. Dans son scénario central, il fixe le facteur de charge à 20% pour l'éolien onshore. Dans tous ses scénarios, il suppose un facteur de charge à 13% pour le solaire. Les chiffres de 2020 sont déjà supérieurs à ses hypothèses. (voir le tableau ci-dessous). D'autre part, il faut considérer la dynamique. Les facteurs de charge ont crû et continueront de croître à l'avenir. Calcul de Philippe Quirion (EDIT:) à partir d’un modèle de régression linéaire estimé avec des données RTE sur la période 2012-2020. Un Empiriciste: Que penser de l’argument de JMJ selon lequel le coût de l’éolien/solaire va monter suite à la raréfaction des matières premières et non descendre comme dans les projections que vous m’avez partagées ? Est-elle pertinente ? Est-elle seule en mesure d’expliquer l’écart entre les estimations que vous m’avez fournies et celles de JMJ ? Philippe Quirion: C'est sa ritournelle du peak-oil ! On peut aussi supposer que si la voiture électrique se généralise alors le prix du pétrole devrait baisser puisque les gisements à faible coût suffiront à satisfaire la demande. C'est ce que GM, VW et Ford annoncent, mais pas Toyota ; l'avenir n'est pas écrit ! De manière plus générale, si quelqu'un savait avec certitude comment le prix du pétrole va évoluer, il serait riche -et il ne le dirait pas à tout le monde ! Pour les métaux critiques, l'argument se défend. Néanmoins, on utilise de moins en moins de matière par unité. D'autre part, il y a beaucoup de substituabilité entre matériaux. Les cours des métaux ont un impact à court terme sur éolien et PV, mais la tendance est à la baisse et il n'y a pas de raison de penser qu'elle va s'inverser. Découvrez le deuxième article de la série. EDIT: (1) « By 2050, the share of electricity supplied by renewables increases from 23% in 2015 to 59–97% across 1.5°C pathways with no or limited overshoot. » Traduction de l’intervieweur. Rapport consultable au https://www.ipcc.ch/site/assets/uploads/sites/2/2019/05/SR15_Chapter2_Low_Res.pdf (citation p.134). Sources: Brown, T. W., Bischof-Niemz, T., Blok, K., Breyer, C., Lund, H., & Mathiesen, B. V. (2018). Response to ‘Burden of proof: A comprehensive review of the feasibility of 100% renewable-electricity systems’. Renewable and sustainable energy reviews, 92, 834-847 GIEC : Rapport spécial 1.5°C, p. 134. EDIT: consultable au https://www.ipcc.ch/site/assets/uploads/sites/2/2019/05/SR15_Chapter2_Low_Res.pdf Jakob, M., Ward, H., & Steckel, J. C. (2021). Sharing responsibility for trade-related emissions based on economic benefits. Global Environmental Change, 66, 102207. Shirizadeh, B., & Quirion, P. (2020). Low-carbon options for the French power sector: What role for renewables, nuclear energy and carbon capture and storage?. Energy Economics, 105004. How Sensitive are Optimal Fully Renewable Power Systems to Technology Cost Uncertainty? B Shirizadeh, Q Perrier, P Quirion The Energy Journal 43 Wiser, R. H., & Bolinger, M. (2019). Benchmarking Anticipated Wind Project Lifetimes: Results from a Survey of US Wind Industry Professionals. Lawrence Berkeley National Lab.(LBNL), Berkeley, CA (United States).

Jean-Marc Jancovici et le meilleur modèle macroéconomique du monde

Ces derniers temps, j’entends souvent la même musique. Quand j’annonce que je suis doctorant en science économique, on me parle de Jean-Marc Jancovici (JMJ). Parfois, on me pose des questions sur ce que je pense de ses interventions. D’autres fois, on m’annonce qu’il a rendu toute la science économique obsolète. En effet, que ce soit dans ses conférences à Sciences Po, aux Mines, à l’OCDE, ou même sur des articles de son blog, JMJ annonce souvent qu’il a trouvé « le meilleur modèle macroéconomique du monde ». Rien que ça ! En dehors du fait que la science économique n’est en majorité pas de la macroéconomie, est-ce vrai ? Note: même si ce billet de blog n’est pas un article de recherche, je suis ici une convention universitaire. Lorsque je cite un article de recherche, je donne le nom du premier auteur et sa date de parution entre parenthèses. Exemple: Dans leur étude, Tartention et al. (2020) ne trouvent pas… L'expression latine “et al.” se réfère au fait que l’étude a eu plusieurs auteurs mais que je ne cite que le premier. Vous trouverez les références complètes des articles dans la bibliographie à la fin du billet. Les articles non-académiques (ex: billets de blog) sont en revanche accessibles par lien hypertexte. La traduction des citations d’articles scientifiques de l’anglais vers le français est la mienne. J’aimerais remercier deux personnes : un économiste (@mrbig_panda) et un physicien (que j'interviewe ici) (@gregdt1) pour leurs suggestions précieuses. *** Pour JMJ, énergie=économie. Le consultant ne se contente pas de dire que l’énergie est nécessaire à notre économie (EDIT), comme par exemple le fait que les hommes respirent est une condition nécessaire aux échanges économiques. Il affirme que les variations de la quantité d’énergie expliquent celles du PIB ces dernières décennies. Ainsi, ce serait par exemple la réduction de l’approvisionnement énergétique (et notamment en pétrole) qui aurait causé la crise de 2008 et le ralentissement qui en a suivi (“le passage de l’approvisionnement mondial en pétrole conventionnel par un pic (...) a causé le ralentissement économique qu’on a constaté en 2008 et dont on n’est toujours pas sortis – et dont on ne sortira pas à mon avis -, qui a provoqué la crise financière et celle de subprimes.”) (Source). Il va parfois jusqu’à expliquer la baisse tendancielle de la croissance depuis 40 ans dans certains pays développés comme l'ltalie ou la France par une pénurie énergétique (“Depuis le deuxième choc pétrolier (1980), la France n’a plus jamais connu une croissance du pib par tête supérieure à 2 % par an. (...) : Il y a une raison « énergétique » (...) à ce que la croissance aille désormais en ralentissant (...) le tassement de l’énergie disponible par personne.”) (Source) . C'est là ce qu'il appelle "le meilleur modèle macroéconomique du monde" - dans des slides en anglais, il parle même du "meilleur modèle macroéconomique du monde passé." C’est au nom de cette relation PIB-énergie que JMJ prédisait en 2010 qu' “on est partis pour avoir une récession en moyenne tous les trois ans “. Le “en moyenne” rend l’affirmation difficilement testable, mais il est difficile de penser que la récession due au confinement pour lutter contre le COVID qui a fini par se produire 10 ans plus tard soit dûe à une pénurie d’énergie. C’est aussi du fait de cette identité postulée entre énergie=économie que le consultant affirme en 2012 : « [l]e lien énergie-économie signifie une croissance nulle pour les cinq ans à venir en France et en Europe. (…) [La baisse de l’approvisionnement en pétrole et en gaz] va se traduire par, au mieux, une stagnation du pib mais, plus probablement, une évolution négative du pib européen (et français) dans les cinq ans qui viennent. ». Cette dernière prédiction ne s’est pas vérifiée. Entre 2012 et 2017, le PIB en dollars en parité de pouvoir d’achat, c’est-à-dire corrigé des biais liés à la variation des prix et aux variations du taux de change par rapport au dollar, a crû de 6% en France et de 9% dans l’Union Européenne (Source: Banque Mondiale). Puisqu'il n'est pas évident que la thèse énergie=économie puisse permettre de bonnes prévisions, on peut se demander quelles données l’appuient en premier lieu. Une relation revient souvent dans les interventions de JMJ. Elle est par exemple présentée sur une des slides disponibles sur le blog de Jean-Marc Jancovici: Sur cette slide, ce qui permet à JMJ de clamer qu'il a trouvé le meilleur modèle macroéconomique du monde, c’est sans doute le coefficient détermination (le R^2). Il est en effet très proche de 1. Ceci signifie grossièrement que les points du nuage sont très proches de la droite, du modèle. La consommation d’énergie une année prédit très bien le PIB de cette même année. Un statisticien pourrait faire remarquer qu’on ne peut utiliser la méthode statistique que JMJ emploie (les moindres carrés ordinaires) pour analyser le type de données en question - des séries temporelles, des données qui suivent une seule même entité comme un pays au cours du temps. En effet, lorsque les deux indicateurs suivent une tendance significative (comme ici à la hausse), employer la même méthode que JMJ tend à produire des corrélations fallacieuses ou au mieux à les gonfler artificiellement. Mais même si on écarte cette objection statistique gênante et qu’on suppose qu’il existe bien une forte corrélation entre énergie et PIB, cette relation serait pourtant moins intéressante qu’elle en a l’air. Je vous propose un autre exemple. On pourrait aussi noter que le temps de parole d’un candidat à la présidentielle est très corrélé au nombre de votes qu’il reçoit. Le temps de parole d’un candidat à la télé prédit très bien sa part de voix aux élections. Je vous présente donc le meilleur modèle de sociologie électorale du monde, une ligne droite : Pourtant, les sociologues du vote ne considèrent pas le temps de parole dans les médias comme le déterminant principal du vote. Pourquoi ? Vous l’avez peut-être deviné à ce stade : l’un des problèmes est celui de la poule ou de l’oeuf. Est-ce que les candidats reçoivent plus de votes parce qu’ils ont eu plus de temps de parole, ou alors est-ce que les médias leur donnent plus de temps de parole parce qu’ils sont plus populaires ? On pourrait construire la même objection pour le graphique de JMJ. La causalité peut aller dans les deux sens entre PIB et énergie. C’est qu’on appelle en économétrie un biais de simultanéité, dont je parle aussi dans cet article sur le confinement. Certes, quand la production d’énergie se contracte, ceci peut tout à fait contraindre la production. Mais symétriquement, une économie en récession consomme moins d’énergie. On peut construire un raisonnement analogue avec une économie en croissance. Une corrélation énergie-économie pourrait s’expliquer complètement par l’effet du PIB sur l’énergie, celui de l’énergie sur le PIB, ou par un mélange des deux. Les chercheurs qui étudient le lien économie-énergie se posent depuis des décennies la même question que nous. Et pour cause : s’il existe un lien causal universel entre énergie et PIB, cela signifie qu’on ne peut pas réduire la consommation d’énergie ou même la maintenir simplement sans impacter la croissance. L’hypothèse que le PIB cause l’énergie est appelée “hypothèse de la conservation” (conservation hypothesis) dans la littérature scientifique. Celle que l’énergie cause le PIB est parfois appelée “l’hypothèse de la croissance” (growth hypothesis) -voir par exemple Bercu et al., 2019). Ces deux hypothèses ne sont d’ailleurs pas mutuellement exclusives. Elles peuvent être vraies en même temps (ce qu’on appelle l’hypothèse de la rétroaction « feedback »), être plus ou moins vraies selon les situations, ou être fausses tous les deux (l'hypothèse de la neutralité). Il existe en effet des techniques statistiques pour tenter de tester ces hypothèses, de distinguer corrélation et causalité. Je les présente plus bas. Elles sont variées mais elles ont en commun d’être toutes plus sophistiquées que celles qu’emploie JMJ. Les économistes ne sont pas les seuls à s'intéresser à ces questions. Lorsque Cicea et al. (2021) recensent les journaux qui publient des études statistiques sur le lien énergie-économie, ils obtiennent la liste suivante : On voit dans cette liste des revues de sciences environnementales comme « environmental science and pollution research ». Ces recherches sont aussi publiées dans journaux interdisciplinaires comme Energy Policy. Ces revues comportent certes des économistes dans leur comité de lecture mais aussi des ingénieurs ou physiciens, comme par exemple, le Professeur Carlos Henggeler Antunes, éditeur senior d’Energy Policy, revue qui a publié le plus d’articles sur la question qui nous intéresse. Ceci fragilise la thèse, martelée par JMJ, selon laquelle le fait que le sens de la causalité irait de l’énergie vers le PIB et seulement dans ce sens serait une évidence physique. Pourquoi des spécialistes des sciences de l’environnement s'intéresseraient-ils à la question avec des techniques statistiques très sophistiquées si les lois de la physique permettaient d’y répondre aisément ? Pourquoi des revues avec des physiciens dans leur comité de lecture accepteraient des articles de recherche dont les prémisses seraient contraires aux lois de la physique ? En réalité, et contre les affirmations de JMJ, il n’est pas ici uniquement question de physique pour trois raisons. Premièrement, aucune équation physique n’inclut le PIB comme variable. Et pour cause : la physique traite de l’énergie mais pas du lien entre énergie et richesse (PIB). Or, les deux grandeurs ne se confondent pas. Paul Romer, prix de la Banque de Suède en 2018 l’explique très pédagogiquement : «La croissance se produit quand les hommes se saisissent de ressources et les réarrangent d’une manière qui soit plus profitable. Comparer l’économie à une cuisine est une métaphore productive. Pour créer des produits de valeur, nous mélangeons des ingrédients peu chers selon une recette. Ultimement, la cuisine qu’on peut faire est limitée par la quantité d’ingrédients, et la plupart de la ‘cuisine économique’ produit des effets indésirables [la pollution]. Si la croissance économique consistait à cuisiner tout le temps la même recette, nous serions très vite à court de ressources et souffririons de niveaux inacceptables de pollution et de nuisance. L’histoire humaine nous enseigne cependant que la croissance économique résulte de meilleures recettes, et non simplement de la préparation des mêmes plats. Ces nouvelles recettes (...) génèrent en général plus de valeur économique par unité de matière première. » [texte de Romer dans The concise encyclopedia of economics (2008) sous la direction de Paul R. Henderson] Conformément à cette dernière affirmation, depuis plusieurs décennies, la quantité d’énergie nécessaire à la production d’un point de PIB mondial (et de CO2 mais ce n’est pas le sujet) n’a eu de cesse de baisser. Utilisation d’énergie (en kg d’équivalent pétrole) pour 1 000 $ de PIB (PPA constants de 2011) Source : Banque Mondiale En outre, il semble qu'en considérant l'énergie consommée (même celle nécessaire à produire les biens importés), celle-ci a eu tendance à baisser entre 2000 et 2014 en Europe et aux Etats-Unis, alors que le PIB augmentait nettement durant cette période dans ces zones géographiques. Ça ne signifie pas que cette baisse de la consommation n’a pas eu d’impact sur le PIB. Peut-être que le PIB aurait été plus haut encore en Europe et aux Etats-Unis en 2015 si la consommation d’énergie n’avait pas baissé dans ces zones entre 2000 et 2014. Mais c’est là un autre phénomène dont la simple identité économie=énergie=physique ne peut rendre compte. Source : Kulionis (2019) [Je précise que j'ai ajouté le paragraphe quelques mois après mes échanges avec JMJ, en octobre 2021, suite à la sortie de ce très intéressant rapport de Zenon Research, dont nous parlons dans cette interview] Tout ceci ne signifie pas que le problème environnemental de la croissance économique va se résoudre de lui-même, et ce n’est pas ce que Romer pense. Mon message est ici autre : qu’il n’y ait pas de relation stable entre énergie et économie montre bien que les deux notions ne se confondent pas. La croissance économique est bien plus qu’une utilisation de plus en plus intensive d’un stock de ressources donné. C’est un processus par lequel on trouve de nouvelles façons d’agencer des matières premières d’une manière qui augmente la valeur totale des échanges. Il est possible qu’à long-terme, on ne puisse pas trouver d’agencement qui n’implique pas d’utiliser une quantité croissante de ressources non-renouvelables, et ce, même avec des politiques environnementales bien plus fermes qu’aujourd’hui. Mais c’est une autre question : celle du découplage, qui n’est pas le thème de ce billet mais plutôt de cette interview sur mon site. D’autre part, la question du lien énergie-économie n’est pas que physique car l’énergie n’est pas ‘produite’ (ou transformée) de manière aléatoire dans le temps. Si les hommes transforment l’énergie, c’est qu’ils ont eu des incitations économiques à répondre à la demande d’énergie. S’ils peuvent transformer de l’énergie, c’est parce qu’ils ont eu des incitations à inventer des moyens techniques de le faire, et à innover, c’est-à-dire à insérer ces inventions dans le tissu industriel. Enfin, le PIB ne naît pas uniquement de la combinaison de capital, de travail, et de travail-utile. Il existe aussi des facteurs qui influencent à la fois le PIB et l’énergie, comme les anticipations dont je parle plus bas, ou les institutions, règles du jeu de la vie économique. Tout ceci ne signifie pas qu’il ne faille pas se soucier de l’énergie si on veut penser l’économie (et notre avenir sur cette planète). Mais il faut le faire avec les concepts appropriés, sans se faire le ventriloque de la physique : les exemples des thérapies quantiques ou de la deuxième loi de la thermodynamique brandie comme ‘preuve’ contre l’évolution nous avertissent des dangers de sortir les lois physiques de leur contexte. Comment savoir qui de la poule ou de l’oeuf ? Cela ne devrait pourtant pas être si compliqué de prouver que l’énergie cause le PIB, et non l’inverse ! Une première piste paraît évidente. On pourrait vérifier si les variations de la consommation d’énergie précédent celles du PIB. De fait, c’est ce que JMJ fait, en notant que les variations de la quantité de pétrole extraite précèdent celles du taux de croissance du PIB [Edit : coquille j’avais écrit     »cours » au lieu de « quantité »], ou en insistant sur l’Italie, exemple d’un pays où les variations de la consommation d’énergie semblent précéder celles du PIB : (“on constate que [en Italie] lorsque le taux de croissance de l’énergie baisse, la variation sur le PIB suit en général de un à deux ans, ce qui accrédite l’idée que quand c’est l’énergie qui est contrainte le PIB est obligé de l’être aussi à la suite”). Cela semble convaincant. Après tout, les causes précèdent leurs effets, non ? Et bien en fait, cela n’a rien d’évident pour deux raisons : le biais de la variable omise et les anticipations. Les effets d’anticipation Premièrement, en sciences sociales, il faut toujours considérer les phénomènes d'anticipation. Si les hommes anticipent un phénomène, ils peuvent y réagir avant qu’il se produise. Par abus de langage, on pourrait dire que l’  effet précède alors la cause, même si la formulation est discutable. Si vous tombez d’une falaise, vous allez sans doute vous mettre à crier. Pourtant, ce n’est pas votre cri qui aura causé l’impact de votre corps sur le sol (la cause du cri). C’est l’impact anticipé de la chute qui vous aura fait crier. Dans notre cas, nombre de variables précèdent le PIB comme l’investissement résidentiel ou les cours boursiers. Il en est ainsi parce que les valeurs de ces séries varient avec les anticipations des agents, et que ce sont en partie les anticipations qui font l’économie. Si vous anticipez une crise demain, vous risquez de ne pas investir, de vendre vos actions. Si une majorité se met à penser comme vous, alors la crise se produira effectivement. Ce type de prophétie auto-réalisatrice est très important pour expliquer le cycle économique. D’ailleurs, quand on construit des indicateurs d'anticipation des consommateurs, ceux-ci précèdent le PIB et le prédisent très bien. Dans notre contexte précis, les pétroliers ont intérêt à tenter d’anticiper les retournements de la conjoncture ou a minima à réagir à la baisse de demande d’énergie. Lorsque la croissance du PIB ralentit, la demande de pétrole décroît, ce qui tend à réduire le prix du baril. Pour juguler cette baisse des prix, les offreurs ont alors tout intérêt à restreindre l’offre, en ralentissant leur vitesse d’extraction pour réduire leurs stocks stratégiques. Le fait de négliger les anticipations biaise la lecture des données de JMJ. Voici comment il commente un autre graphique où il note que les variations du tonnage de pétrole extrait précèdent nettement celles du PIB : « Chronologiquement, vous voyez que la variation de la courbe [du pétrole] a tendance à légèrement précéder la variation de la courbe du PIB. Donc, ce n'est pas : « le pétrole c'est un truc qui s'achète, j'ai une croissance qui vient de Mars, j'ai plus d'argent et donc j'achète plus de pétrole ». C'est : « le pétrole est un facteur limitant de la production parce qu'il faut des transports pour produire, et donc si j'ai moins ou plus de pétrole je suis capable de plus ou moins transporter, et donc je suis capable d'avoir une activité transformative donc économique plus ou moins importante. » [le style est très oral, parce qu’il s’agit là de la retranscription d’une conférence]. Dans cet extrait, l’emploi du «donc » montre bien que JMJ pense que le fait qu’une série en précède une autre dit quelque chose de la direction du lien de causalité qui les unit. Il y a quelques périodes bien identifiées à l’occasion desquelles des pénuries de pétrole ont bien causé un ralentissement de la croissance, puis des récessions mondiales : durant les deux grands chocs pétroliers (1973, 1979), et suite à la guerre du Golfe en 1993. Rien de nouveau sous le soleil. On notera d’ailleurs que ces pénuries sont le fruit de décisions politiques, et non d’une contrainte physique, d’une soudaine rareté des ressources. Concernant les autres périodes, certes les pics de pétrole précédent ceux du PIB, mais rien ne permet d’affirmer que ceci ne résulte pas des changements d’anticipations des producteurs de pétrole ou du ralentissement précoce de certains secteurs à la production plus riche en pétrole que la moyenne. J’aimerais également attirer votre attention sur l’astuce rhétorique contenue dans la formule « la croissance [ne] vient [pas] de Mars ». Non, la croissance ne vient pas de Mars. Mais le pétrole ne vient pas non plus de Vénus. Les pétroliers répondent à des incitations économiques. Ils n’extraient pas au hasard du pétrole. Extraction de pétrole et production s’influencent mutuellement : c’est tout le problème ! Le biais de la variable omise Deuxièmement, il est possible que la variable qui nous intéresse précède l’effet simplement parce qu’elle est liée à la cause par une variable tierce. Si, quand je me penche pour écrire, ma chaise grince, ce ne sera pas le grincement de ma chaise qui causera l’apparition de signes étranges sur mon cahier. Ma volonté d’écrire est la cause, mon écriture sur le cahier l’effet, et le couinement la variable omise. Je n’ai pas le talent de Jean-Marc Jancovici pour les analogies. Je préfère donc illustrer en contexte. Jean-Marc Jancovici relaie souvent le fait qu’en 2008, l’énergie a commencé à baisser juste avant le PIB. Il considère que c’est un indice du fait que c’est une pénurie d’énergie qui aurait entraîné la crise de 2008. C’est peu convaincant. Du fait que la consommation d’énergie a fléchi un peu avant le PIB en 2008, bien des variables omises empêchent de déduire que la crise de cette année a une cause énergétique. Par exemple, la crise de 2008 est d’abord une crise immobilière qui s’est lentement propagée à la sphère financière, puis économique. Il n’est pas exclu de penser que parce que le bâtiment est un secteur très intensif en énergie (sans doute plus que la moyenne), et que l’investissement immobilier précède empiriquement le PIB, c’est sa chute qui a causé une baisse précoce de la consommation en énergie, tandis que la croissance se maintenait dans un premier temps grâce à la contribution des autres secteurs. Je ne sais pas dans quelle mesure cet enchaînement est convaincant. Mais qu’importe ! Ce petit raisonnement illustre simplement en contexte le principe logique selon lequel sans que l’effet ne précède la cause, il est possible que la cause ne soit pas celle qu’on pense. C’est le fameux biais de la variable omise. Ces problèmes semblent insurmontables. Pourtant, la littérature scientifique propose des moyens de les contourner. La solution de la littérature Aux deux maux des variables omises et de l’anticipation, une solution est envisageable. Pour savoir si les variations de l’énergie causent bien celles de l’énergie, il faudrait mesurer la corrélation entre PIB au temps t et la consommation d’énergie à t-n, quelques périodes avant, tout en neutralisant l’effet des variables confondantes (investissement, anticipations) auxquelles on peut penser. En d’autres termes, il faudrait regarder si à investissement égal, à indicateur d’anticipations égal, … les variations de l’énergie précèdent toujours celles du PIB. Ici, le « égal » est le même égal que dans « les femmes touchent moins que les hommes à niveau d’étude et expérience égales ». Certaines techniques statistiques permettent en effet de neutraliser l’effet des variables omises, on dit qu’on contrôle par ces variables. La très vaste littérature scientifique qui étudie le lien énergie-PIB emploie justement des techniques de ce type. On peut la scinder en deux vagues. Il y a d’abord eu des études sur séries temporelles, c’est-à-dire fondées sur les données d’un seul pays (entité) au cours du temps. Puis, des études avec des données de panel, c’est-à-dire qui suivent non plus un seul mais plusieurs pays au cours du temps. Les deux types de données nécessitent des méthodes distinctes pour être analysées. Néanmoins, on considère généralement que les résultats obtenus sur panel (plusieurs pays, plusieurs années) sont plus fiables. Je garde un peu de mystère ici, mais j’expliquerai rapidement pourquoi dans quelques paragraphes. Une troisième méthode, très élégante mais avec ses limites, consiste à exploiter ce qu’on appelle des expériences naturelles. J’en parle aussi plus bas. Que dit la littérature empirique sur lien causal entre énergie et PIB ? Elle n’est pas tranchée du tout. Parfois, c’est bien la production d’énergie qui semble causer le PIB à court et moyen-terme, mais, parfois c’est l’inverse. Et puis parfois, il semble que la causalité va dans les deux sens. Comme le notent Kalimeris et al. (2016) : “les résultats de la littérature sur le lien énergie-économie ne pourraient pas être plus loin d’un consensus, puisqu’on y trouve des indices sur les quatre hypothèses possibles sur le lien énergie-économie à une fréquence presque égale.” Pourquoi les résultats sont-ils si contradictoires ? Il est possible que la nature du lien énergie-économie dépende du contexte. Cependant, un des problèmes est que nombre de paramètres qui influencent les résultats sont laissés à la discrétion du chercheur. Quelles variables omises je neutralise ? Comment est-ce que je mesure l’énergie ? Quelles méthodes d’analyse statistique j’utilise ? Est-ce que je teste l’hypothèse que la relation entre PIB et énergie est linéaire, ou celle qu’elle est non linéaire ? En effet, quand on reproduit l’exercice de JMJ mais sur une plus longue période, on remarque une relation concave, par laquelle chaque point de PIB supplémentaire augmente de moins en moins la consommation d’énergie primaire, ce qui fait écho à ma remarque plus haut sur le fait que le PIB s’appauvrit en énergie. Ceci suggère qu’il faille peut-être intégrer la possibilité d’une relation concave dans des modèles plus compliqués. Source : le physicien Greg de Temmerman - et le spécialiste des sciences de l'environnement Carey King faisait un constat similaire. Ceci soulève un problème crucial. Quand on se concentre sur une seule étude, on est incapable de distinguer quelle part du résultat est dû à la ‘vraie’ relation et quelle part est attribuable à des choix arbitraitres de spécification. En économie, comme bien d’autres disciplines, il faut analyser l’ensemble de la littérature ! C’est justement ce que permettent les méta-analyses. Une méta-analyse est une étude qui agrège les résultats d'autres études, et les mouline pour extraire un résultat moyen. Elle peut aussi permettre de comprendre ce qui explique la variabilité des résultats grâce à des techniques comme la méta-régression. C’est précisément ce qu’il nous faut. Je parle plus en détail de cette méthode dans ce billet. Que nous disent les méta-analyses ? Premièrement, les choix individuels des chercheurs comptent. Pour le savoir, les chercheurs utilisent le plus souvent une méta-régression, méthode qui permet de comprendre sous certaines hypothèses (comme toujours) comment les choix du chercheur influencent ses résultats. Chen et al. (2012) notent dans leur méta-analyse que “les différences d’indicateurs choisis, des caractéristiques du pays, et des méthodes économétriques [statistiques] agissent toutes sur la relation estimée entre PIB et énergie.” Menegaki et al. (2014) notent dans leur méta-analyse que « [ces] résultats tendent à démontrer que l’élasticité (la sensibilité) de la croissance du PIB n’est pas indépendante de la méthode [statistique] employée, de la nature des données, et de l’inclusion de variables comme le niveau du prix ou le capital dans le [modèle statistique] ». Même constat dans la méta-analyse d’Hajko (2018) « plusieurs déficiences méthodologiques questionnent la fiabilité des résultats publiés, comme par exemple : l’usage de données annuelles, des spécifications insuffisantes des modèles (biais de la variable omise)… ». La méta-analyse de Kalimeris et al. (2016) culmine dans l’incertitude en indiquant que les chercheurs n’ont pas réussi à trouver “des facteurs généraux qui déterminent la direction du lien entre PIB et énergie”. Deuxièmement, le plus souvent, quand on neutralise l’impact des choix arbitraires des chercheurs sur leur résultat, on ne parvient plus à détecter de lien stable et fondamental entre PIB et énergie. Kalimeris et al. (2016) “les résultats de la méta-analyse ne soutiennent ni l'existence d’une direction macro fondamentale, ni l’hypothèse de la neutralité”. En utilisant des méthodes plus inhabituelles de machine-learning, Hajko (2018) parvient à prédire l’essentiel de la dispersion des résultats avec les choix des chercheurs et en conclut qu’« il n’y a pas de preuve de l’existence d’une relation fondamentale entre énergie et économie. ». Bruns et al. (2014) trouvent une relation nette du PIB vers l’énergie, quand on contrôle par les prix, mais leur méta-analyse exclut les études avec données de panel (qui suivent plusieurs pays durant plusieurs périodes plutôt qu’un seul pays au cours du temps), dont on pourrait penser qu’elles sont les plus fiables. De manière assez intéressante, l’idée qu’il n’y ait pas de loi d’airain, “physique” pas une seule hypothèse vraie en tout temps et tout lieu sur la direction du lien entre énergie et PIB est un présupposé dans presque toutes les méta-analyses. Les auteurs de certaines méta-analyses comme Chen et al. (2012) ou Menegaki et al. (2014) ne cherchent plus à trouver une relation fondamentale énergie-pib auquelle ils ne croient probablement plus. Ils cherchent uniquement des modérateurs, c’est-à-dire des variables qui tendent ou distendent le lien entre énergie et PIB, et qui donc aident à comprendre pourquoi on trouve parfois que c’est l’énergie qui cause le PIB, et parfois l’inverse. Ici, les modérateurs qui comptent dans la plupart des méta-analyses semblent être les prix, et le capital. Je préfère m’arrêter ici, car je reviendrai dans un prochain article sur la question du lien entre prix et énergie, que JMJ n’étudie qu’en faisant une erreur statistique systématique. On pourrait me rétorquer que les méta-analyses en sciences sociales génèrent systématiquement ce chaos de résultats inconclusifs, et qu’il n’aurait eu rien d’informatif à en tirer, quelque soit le sujet. Mais c’est faux. Par exemple, toutes les méta-analyses sur les politiques de hausse du salaire minimum (et qui adoptent une méthodologie très comparable) montrent qu’elles n’ont en moyenne pas d’effet sur l’emploi total (Doucouliagos et al. (2009), Hafner et al. (2017), Gautié et al. (2018), Kucera (2018) ) ; la célèbre méta-analyse de Card (2017) sur l’effet des politiques actives sur l’emploi trouve une conclusion très nette, et qui n’a à ma connaissance pas été disputée par une autre méta-analyse. Ceci suggère que la diversité des résultats a quelque chose de spécifique au sujet. La littérature parle souvent du “nexus” énergie-économie : les chercheurs considèrent que lien énergie-économie est complexe et enfoui, dissimulé dans une jungle de facteurs difficilement démélâbles. Les limites de ces méta- études Malheureusement, une méta-analyse ne peut jamais dépasser tous les défauts de la littérature qu’elle analyse. En particulier, le biais de la variable omise est difficile à corriger. On peut toujours avoir oublié de contrôler par un facteur. Certaines variables omises sont peut-être immesurables (sélection par les inobservables), si bien que même si on y pensait, on ne saurait pas comment neutraliser leur effet. Utiliser des données de panel plutôt que des séries temporelles permet de contrôler par certaines variables inobservables (celles communes à tous les pays, ou celles propres à chaque pays mais qui ne varient pas dans le temps) mais pas par toutes (on ne peut pas contrôler par les variables inobservables qui sont propres à chaque pays et évoluent dans le temps) - j’expliquerai pourquoi dans un article de blog. Il existe des méthodes dites quasi-expérimentales (dont je parle dans cet article) qui permettent d'adresser de manière plus convaincante le biais de la variable omise. Malheureusement, je n'ai pas trouvé d'étude qui emploie ce type de méthodologie sur ce sujet, à l'exception d'une expérience naturelle de Söderberg (2021). Malgré tous mes efforts, je n’ai pu accéder au papier, mais voici ce que je comprends à la lecture de l’abstract, le court résumé qui m’était accessible. L’astuce du papier est qu’il exploite les évènements de la canicule de 2003 qui ont paralysé l’économie mondiale. Cette catastrophe fournit une source de baisse du PIB dont on peut raisonnablement penser qu’elle n’est pas due à une variation à court-terme de la consommation d’énergie. Dans ce cas là, on sait qui de la poule ou de l’oeuf. L’auteur trouve ainsi que la baisse du PIB induite par la canicule a réduit l’énergie consommée mais aussi qu’il existe ce qu’on appelle un effet kuznets : la relation entre la baisse du PIB et l’énergie est plus forte pour les pays moins développés, signe que les économies développées sont moins dépendantes de l’énergie. Ces résultats sont intéressants mais j’ai deux réserves. Premièrement, même à supposer que ce travail soit fiable, il a une portée limitée. Il n’isole le sens de la direction entre PIB et énergie que dans le cadre d’une baisse de PIB induite par une canicule. Rien ne dit que les résultats soient transposables aux effets d’une baisse du PIB pour d’autres raisons. Surtout, on aurait aussi aimé avoir une expérience naturelle sur l’autre sens de la relation (énergie=> PIB). Deuxièmement, je m’interroge sur la fiabilité du résultat. La méthode statistique employée (variable instrumentale) repose sur l’hypothèse que la canicule n’a impacté la consommation d’énergie que par le canal du PIB. Cela me semble difficile à concevoir. En France, par exemple, parce que l’eau qui permet de refroidir les centrales s’est évaporée, EDF a dû réduire drastiquement la production. Il est possible que l’auteur ait trouvé un moyen de contourner ce problème, mais, sans le texte complet, il m’est impossible de statuer. Dans tous les cas, deux conclusions sont saillantes : (i) les graphiques de JMJ ne prouvent pas que « tous les modèles économiques prennent la causalité dans le mauvais sens »; (ii) la littérature scientifique, qui emploie des méthodes plus rigoureuses que JMJ, ne trouve rien de net. Il n’y aucune preuve solide qu’on puisse expliquer la baisse de la croissance du PIB dans certains pays développés depuis quelques décennies par une baisse de l’approvisionnement en énergie comme l’affirme JMJ. L’absence de preuves n’est pas la preuve de l’absence, mais en l’absence de preuves, il n’est pas prudent de clamer qu’on a trouvé le « meilleur modèle macroéconomique du monde ». Il semble que la macroéconomie attende encore son Galilée. Conclusion Malgré toute sa complexité et ses contradictions, cette littérature sur le lien énergie-PIB montre une chose : l’économie est trop complexe pour être expliquée par un seul facteur. L’hypothèse d’une relation universelle et univoque de l’énergie vers le PIB est rejetée par les données. C'est sans doute ce qui explique l’échec des prédictions de JMJ que je mentionnais au début. Les fluctuations de la quantité d’énergie consommée ne permettent pas de rendre compte de celles du PIB ces dernières décennies. Si cet article ne vous a pas convaincu qu'il s'agit là d'un résultat important, je vous renvoie à cette réponse. Néanmoins, l’énergie est bien sûr un enjeu clef du destin de nos sociétés. C’est ce qui rend la question du découplage entre énergie et économie, que nous évoquons dans cette interview, centrale. On peut créditer JMJ d’avoir insisté sur l’importance de l'enjeu énergétique dans les décennies à venir, même s’il est très loin d’être le seul. On pourrait souligner malicieusement que chez JMJ, “le bon n’est pas neuf, et le neuf n’est pas bon”, comme on l’a écrit à propos de Freud. Mais ce serait oublier qu’il est parfois bon de rappeler ce qui n'est pas neuf. Les interventions de JMJ ont au moins eu le mérite d’avoir ouvert les yeux d’une partie du public sur l’importance de la question énergétique. Découvrez nos échanges avec JMJ quant à ce billet de blog Aller plus loin, et les autres articles Je me suis concentré sur les travaux qui s’approchaient le plus de la démarche de Jean-Marc Jancovici, ceux qui tentaient d’étudier le lien empirique entre l’énergie et économie avec des données récentes, et sans faire beaucoup d’hypothèses théoriques. Mais le lien énergie-économie a été abordé plus largement que ne le suggère mon article ! Il existe des travaux en histoire économique qui insistent sur le rôle de l’énergie, et notamment sur son prix relativement au travail comme prédicteur de l’ordre d’entrée des pays dans la révolution industrielle : plus le coût de l’énergie est bas relativement à celui de la main d’oeuvre, plus il est intéressant de s’industrialiser tôt. Et bien sûr, l’économie de l’énergie est un champ vaste qui inclut des modèles théoriques sophistiqués que je ne présente pas ici. Vous pouvez par exemple lire le premier article de cette série, l’interview de l’économiste de l’énergie Philippe Quirion. Il existe tout un champ de la science économique qui étudie l’innovation, son impact sur le tissu économique et ses déterminants. On peut aussi mentionner l’économie de l’environnement, champ connexe à l’économie de l’énergie, et dont je parlerai un peu plus dans le prochain article. Les autres sciences sociales ont aussi leur mot à dire sur l’environnement. Bibliographie Bercu, A., Paraschiv, G. and Lupu, D., 2019. Investigating the Energy–Economic Growth–Governance Nexus: Evidence from Central and Eastern European Countries. Sustainability, 11(12), p.3355. Card, D., Kluve, J. and Weber, A., 2017. What Works? A Meta Analysis of Recent Active Labor Market Program Evaluations. Journal of the European Economic Association, 16(3), pp.894-931. Bruns, S., Gross, C. and Stern, D., 2014. Is There Really Granger Causality Between Energy Use and Output?. The Energy Journal, 35(4). Chen, P., Chen, S. and Chen, C., 2012. Energy consumption and economic growth—New evidence from meta-analysis. Energy Policy, 44, pp.245-255. Cicea, C., Ciocoiu, C. and Marinescu, C., 2021. Exploring the Research Regarding Energy–Economic Growth Relationship. Energies, 14(9), p.2661. Jérôme Gautié, Patrice Laroche, 2018. «Minimum Wage and the Labor Market: What Can We Learn from the French Experience? [http://hal-paris1.archives-ouvertes.fr/halshs-01842434/fr/] Kulionis, V. Energy Embodied in Trade, 1970– 2014. (Lund University, 2019) Hafner, M. 2017. « The impact of the National Minimum Wage on employment: a meta-analysis ». Rand Europe - Research Papers. Hristos Doucouliagos & T. D. Stanley, 2009. "Publication Selection Bias in Minimum‐Wage Research? » A Meta‐Regression Analysis. British Journal of Industrial Relations, 47(2), p. 406-428, June. Hajko, V., 2017. The failure of Energy-Economy Nexus: A meta-analysis of 104 studies. Energy, 125, pp.771-787. Henderson, P., 2008. The Concise encyclopedia of economics. Choice Reviews Online, 45(09), pp.45-4750-45-4750. Kalimeris, P., Richardson, C. and Bithas, K., 2014. A meta-analysis investigation of the direction of the energy-GDP causal relationship: implications for the growth-degrowth dialogue. Journal of Cleaner Production, 67, pp.1-13. Tomas Kucera, 2020. Are Employment Effects of Minimum Wage the Same Across the EU? A Meta-Regression Analysis," Working Papers IES 2020/2, Charles University Prague, Faculty of Social Sciences, Institute of Economic Studies, revised Jan 2020. Menegaki, A., 2014. On energy consumption and GDP studies; A meta-analysis of the last two decades. Renewable and Sustainable Energy Reviews, 29, pp.31-36. Soava, G., Mehedintu, A., Sterpu, M. and Grecu, E., 2021. The Impact of the COVID-19 Pandemic on Electricity Consumption and Economic Growth in Romania. Energies, 14(9), p.2394. Söderberg, M., 2021. Identification of how economic development affects energy use through a natural experiment. Journal of Environmental Economics and Policy, pp.1-15.

Jean-Marc Jancovici m’a répondu... voici ma réponse (mis à jour !)

Sur facebook, JM Jancovici a commenté le deuxième article de cette série sur ses propos. [Je mettrais cette page à jour au rythme de nos échanges]. Voici le commentaire de Jean-Marc Jancovici JMJ : « Pour une fois je vais me permettre de faire un commentaire critique sur la forme : je ne relaie personnellement jamais de texte anonyme (ce texte n'aurait donc pas du se retrouver ici tant que son auteur était anonyme, désolé pour Adrien Couzinier qui a surement cru bien faire). Or l'auteur de ce texte n'est pas connu, pas plus qu'une des deux personnes ayant contribué à son élaboration ("un économiste (@mrbig_panda)") L'auteur explique qu'il "suit (...) une convention universitaire". Aucune convention universitaire n'autorise de publier de façon anonyme. Sur le fond, si je trouve le temps je publierai sur mon site une réfutation des propos tenus, voici dès à présent quelques remarques. Dès le début, l'auteur confond un flux et sa dérivée, puisqu'il indique que pour moi l'énergie (un flux) est nécessaire à la croissance (laquelle est une dérivée, celle du PIB, qui lui est un flux). Il considère aussi que la relation quasi-linéaire que j'ai trouvée entre énergie et PIB me sert pour "démontrer" le lien de causalité, avec une excellente corrélation. Malheureusement, ce n'est pas du tout ce que j'explique. J'explique que cette quasi droite est la CONSEQUENCE logique d'un monde dans lequel l'économie compte (quand elle est bien faite, j'y viens juste en dessous) en valeur monétaire la contrepartie de flux de transformation - donc d'énergie - que le physicien compte en joules, et pas du tout une démonstration. Et comme le rapport entre la capacité physique de transformation des machines - qui utilisent l'énergie - et celle des hommes est de 200 à 1, c'est au premier ordre le parc de machines en activité qui dimensionne la production. A nouveau, cette quasi-droite est une CONSEQUENCE ATTENDUE, PAS UNE PREUVE. Elle indique que l'énergie est un facteur limitant au premier ordre du PIB. La preuve est dans la définition même de l'énergie et du PIB, et dans le rapport de 1 à 200. Inutile donc de disserter sur une chose que je n'affirme pas pendant des pages... Sur le "PIB bien fait" : lorsque cet indicateur a été créé, il comptait des choses qui changeaient vraiment la vie : des logements, des voitures, des tables, des chaises, des chemises, et des places de cinéma. Tout là dedans "se touche" (même une place de cinéma est accessible à nos sens). Avec la financiarisation et la mondialisation de l'économie, le PIB peut désormais compter : - des plus values financières qui ne créent rien de supplémentaire "physiquement" mais augmentent mécaniquement certaines transactions qui entrent dans le PIB - de la valeur ajoutée dans un pays alors que les flux physiques ont pris place dans un autre pays. Je persiste et signe dans le fait que la croissance du "PIB vrai" (les tables, les chaises, et les services "qui se touchent") a été nulle depuis 2007. En Europe la production industrielle de 2019 est à peu près la même que celle de 2007 (et dans la zone euro exactement la même), l'activité de construction est plus basse, et si on regarde le pouvoir d'achat net des français il est à peu près identique. Dit autrement, depuis 2007, quand le PIB augmente, ca ne profite pas à l'essentiel de la population. Ca se concentre dans la sphère financière. On peut donc découpler un peu avec de l'efficacité énergétique, et un peu aussi avec du PIB virtuel, venant essentiellement de plus values... Si on regarde des indicateurs qui font abstraction des effets de bord du PIB, nous sommes bien entrés en stagnation depuis 2007, nonobstant les tombereaux d'argent déversés sur l'économie, et qui, selon la théorie "orthodoxe", auraient du faire repartir cette dernière. Un peu plus bas, l'auteur de cette analyse affirme, à propos - toujours - du lien de causalité "c’est ce que JMJ fait, en notant que les variations du cours du pétrole précèdent celles du taux de croissance du PIB". Pourtant j'insiste bien quand je montre cette courbe en disant que la variation sur le pétrole n'est pas celle du prix mais du volume. Apparemment je ne le répète pas assez.... Plus bas encore, il écrit "Lorsque la croissance du PIB ralentit, la demande de pétrole décroît, ce qui tend à réduire le prix du baril". Passons sur le fait qu'à nouveau on confond un flux (la demande de pétrole) et sa dérivée (la croissance du PIB qui ralentit), mais il n'y a pas de lien entre prix et volume sur le pétrole (https://jancovici.com/publications-et-co/articles-de-presse/le-petrole-est-il-elastique/ ). Historiquement le prix a pu monter avec une consommation qui baisse, mais aussi avec une consommation qui augmente... "Les pétroliers répondent à des incitations économiques." Bien sur. Mais l'incitation ne crée pas la ressource. Notre auteur considèrerait-il que quand les hommes de l'art disent "même si on veut y'en aura pas plus" (https://theshiftproject.org/wp-content/uploads/2020/06/%C3%89tude_D%C3%A9clin-de-lapprovisionnement-de-lUE-en-p%C3%A9trole-dici-2030_TSP.pdf ) eux aussi ont tort parce qu'ils ignorent la bonne économie ? A plusieurs endroits dans le texte, l'auteur affirme sans rien démontrer. Par exemple quand il écrit que ce sont les anticipations qui explique les covariations pétrole-PIB. Je serais curieux de voir quelles expériences du monde réel - où l'on mesurerait les anticipations avec un protocole normé permettant d'avoir une quantification réfutable - permettent de conforter cette théorie. Dans le même esprit, un peu plus bas l'auteur porte la contradiction avec un argument démarrant par "Il n’est pas exclu de penser (...)". Mais en logique, "il n'est pas exclu" n'est pas "il est certain que telle explication est la bonne"... Je terminerai ce commentaire (qui ne fait pas le tour de ce qu'il y aurait à dire sur cette analyse) par où je l'ai commencé : dans un débat sérieux, l'anonymat n'est pas de mise. » Voici ma réponse (elle est une version enrichie de mon commentaire) Je vous remercie de m’avoir lu, et je vous lirai avec attention si vous donnez un peu de votre temps pour tenter de réfuter mon billet. Je vous remercie aussi de mentionner que le physicien Grégory de Temmerman a relu ce texte, et qu'il le trouve intéressant ; ceci écarte les objections selon lesquelles j'aurais décidé "d'ignorer la physique" dans les commentaires du post facebook. Quelques premières réponses à vos premières remarques : - Comme l’a dit Joëlle XX, je m’appelle Louis FREGET, si vous souhaitez connaître mon identité. Je ne comprends pas bien ce que cette information apporte à notre discussion ; le seul intérêt de connaître l’identité de quelqu’un qui ne fait pas d’argument d’autorité, mais fournit ses sources, c’est de pouvoir le juger sur ce qu’il est plutôt que sur ce qu’il il dit. C’est de faire de l’ad hominem donc, et je ne crois pas que ce soit votre démarche. J’ajoute que lorsque je parlais de convention universitaire, je parlais du format des références et rien d’autre. Mon texte était parfaitement clair à ce sujet. - lorsque je parle d’énergie qui peut expliquer la croissance, c’est un raccourci pour dire qu’une quantité croissante d’énergie transformée peut expliquer la croissance. C’est un pur raccourci de langage, qui rend ma phrase un peu imprécise, mais on ne touche pas là au fond de mon propos. On peut décliner la même remarque concernant mon explication sur lien entre le PIB et la demande de pétrole, ou de ma coquille cours/quantité - le paragraphe d’après parle très nettement de quantité, le doute n’est pas permis. Tout ceci n’est que des remarques de pure forme, et je me réjouis de ce que le reste de votre argumentation soit plus centrée sur le fond. - Les sous-parties « biais de la variable omise / anticipations » sont là pour justifier de l’usage de méthodes plus sophistiquées dans la littérature. Mon message est « Il y a des objections possibles donc il faut utiliser des méthodes plus rigoureuses». Or, pour employer une méthode qui permet de corriger un biais possible, il suffit de montrer qu’un biais est ...possible. D’ailleurs, il est impossible de savoir si un biais tord bien un résultat avant d’avoir appliqué une méthode qui permet de corriger ce biais, puis d'avoir comparé les résultats des deux méthodes-celle qui ne corrige pas le biais, et celle qui la corrige. Justement, tout le reste du texte présente des méthodes qui permettent de tenter de corriger les biais que je mentionne, notamment celui de la variable omise, et leurs résultats. Ceci permet ensuite de juger de la mesure dans laquelle les objections que je liste affectent l’estimation du lien causal énergie-économie. - Nul part je n’ai écrit que vous essayiez de prouver la causalité énergie-économie par une simple corrélation. J’écris simplement que la relation ne mérite pas nécessairement le titre de meilleur modèle macroéconomique du monde, car la non-stationarité des séries et possible simultanéité gonflent le coefficient de détermination, et que pour cette raison cette forte corrélation est moins intéressante qu’elle ne peut paraître. -Je « disserte » bien sur une de vos thèses, l’une de vos plus originales en fait. Le sujet de l’article est vos explications de la baisse de la croissance ces dernières décennies par un manque d’énergie, et notamment votre explication de la crise de 2008 par le pic de pétrole conventionnel. Supposons que le parc de machines dimensionne le PIB, ce qui est au moins en partie vrai, surtout actuellement. Même sous cette hypothèse, il est possible que la baisse de la croissance d’énergie n’explique pas la diminution de la croissance du PIB ces dernières décennies ou la crise de 2008 comme vous l’affirmez. Trouver une variable A qui dimensionne une variable B ne revient pas à dire que les variations de A expliquent celles de B. Exemple: l’oxygène que nous respirons est nécessaire à la vie humaine. La quantité d’air respirable dimensionne le nombre de personnes qui peuvent vivre sur la planète. Cela ne signifie pas pour autant que des variations de la quantité d’oxygène disponible expliquent les variations de la population ces dernières décennies. Pourtant, c’est votre raisonnement lorsque vous affirmez que parce que l’énergie est essentielle au PIB, c’est nécessairement un manque de ressources énergétiques qui explique le ralentissement de la croissance ces dernières décennies (ce qui est bien votre thèse, les citations dans mon texte et d’autres encore l’attestent) ou la crise de 2008. D’ailleurs, les commentaires sur différents réseaux montrent que beaucoup de gens qui reconnaissent vos talents de vulgarisateur et d’ ‘alerteur’ sur la gravité de la situation (comme moi je les reconnais) ne vous suivent pas sur cette thèse hardie. - sur le rôle des anticipations, je n’ai pas de preuve microéconométrique qui isole le lien des anticipations sur la croissance, mais le lien hypertexte dans la phrase renvoie à un exercice de machine-learning qui montre qu’un indicateur de confiance/ anticipation prédit bien la croissance, et, ce, mieux que tous les autres indicateurs en lice. Ceci s’explique notamment par le fait les anticipations ainsi mesurées précèdent le PIB. C’est un bon indice du rôle des anticipations dans la croissance, et cet exercice ressemble à celui que vous réclamez (indicateur et tests précis, démarche réfutable donc). A nouveau, à ce stade, mon but n’est pas de démontrer avec certitude qu’il existe un lien causal parfaitement isolé entre anticipations et croissance. A cette étape de la démonstration, je présente un doute raisonnable qui justifie que des centaines d’études usent de modèles dynamiques multivariés et ne limitent pas leur analyse de données au constat que parfois une série semble en précéder une autre. - Ce que vous appelez « le vrai PIB » me semble être une catégorie ad hoc et aux contours assez indéfinissables. Me semble difficilement tenable la thèse selon laquelle tous les échanges impliquant des biens tangibles seraient seuls créateurs d’une vraie valeur « physique », par opposition à ceux impliquant des services - intangibles donc- qui donneraient lieu à des échanges qui ne seraient qu’artifices comptables. Les services ne sont pas que financiers ! Les services d’un médecin, d’un psychologue ou d’un enseignant me semblent avoir au moins autant de la valeur que la production de « chaises, de tables et de vêtements.«  Et si le critère est que les transactions qui mènent lieu à la création de la vraie valeur sont celles qui « changent la vie » (critère qui me semble difficilement objectifiable), alors je connais des heures passées avec un prof qui ont bien plus changé une vie qu’une nouvelle paire de jeans. D’ailleurs, toutes les interactions induites par les services mettent en jeu dans notre cerveau des réactions chimiques. Donc physiques. En fait, parce que tout est physique, aucun échange économique n’implique de processus plus physiques que d’autres. Cela fait écho à mes discussions sur Twitter avec le physicien Grégory de Temmerman, où nous parlions des limites de l’approche « tout est physique », qui est une tautologie moins profonde qu’elle ne paraît. - Concernant ce passage suivant : « Plus bas encore, [l’auteur] écrit "Lorsque la croissance du PIB ralentit, la demande de pétrole décroît, ce qui tend à réduire le prix du baril" [mais] il n'y a pas de lien entre prix et volume sur le pétrole (https://jancovici.com/publications-et-co/articles-de-presse/le-petrole-est-il-elastique/ ). Historiquement le prix a pu monter avec une consommation qui baisse, mais aussi avec une consommation qui augmente... »: (1) Quand on parle de comportements, et ici on parle de celui des producteurs de pétrole, il faut bien mesurer la différence entre ce qui est, et ce que *croient* les agents. Ce sont les croyances qui déterminent en dernier ressort le comportement des agents. Même s’il n’existait aucun lien entre le prix du pétrole et la quantité demandée, les producteurs de pétrole pourraient le croire et agir en conséquence ! (EDIT: j’ajoute, après la deuxième réponse de JMJ, et en guise d’illustration, que si on a décidé d’ignorer les articles de recherche, la presse ne cesse de reporter les décisions de baisse de l’offre de l’OPEP pour faire face à des baisses anticipées de la demande. Exemple : https://www.google.fr/amp/s/www.leparisien.fr/amp/economie/vers-une-baisse-massive-de-la-production-de-petrole-10-04-2020-8297352.php) ) (2) Votre démonstration sur l’élasticité-prix de la demande de pétrole (car c’est dont il est question dans mon billet) est rendue invalide par un biais fondamental en statistiques. Vous entendez démontrer que la ‘loi’ de la demande ne se vérifie pas concernant le pétrole car il n’y a pas de corrélation prix-quantité de pétrole consommée. Vous affirmez alors avoir détruit une « base solide de nos cours d’économie ». Mais la quantité de pétrole consommée ne dépend pas que de la demande mais aussi de l’offre ! On ne peut consommer que ce qui a été produit/extrait. Ainsi, le lien quantité consommée de pétrole - prix que vous présentez dans votre article n’est pas le lien demande de pétrole- prix. C’est une autre manifestation du biais de simultanéité dont je parle dans l’article. C’est un vieux problème en statistiques appliquées. Il a été identifié par Sewal Wright, grand biostasticien et son père économiste dans les années 1920. A cause du biais de simultanéité, il faut utiliser des méthodes plus sophistiquées pour estimer une élasticité de la demande (ou de l’offre) comme vous souhaitez le faire dans votre article : variables instrumentales, modèles plus structurels avec restriction sur la valeur des paramètres... Le graphique quantité consommée de pétrole-prix ne nous apprend rien sur la relation demande de pétrole-prix, et il est normal de n’y trouver aucune relation claire. Quand on emploie des méthodes plus robustes, qui tentent d’adresser le biais de simultanéité, cette méta-analyse montre qu’on trouve une élasticité-prix faible de la demande de pétrole mais significativement négative en moyenne à long-terme. (EDIT : j'ai ajouté cette partie plus technique quelques heures après la parution de l'article) On pourrait transposer le même raisonnement au niveau de l'offre. Il faut distinguer quantité offerte et quantité produite pour la même raison : ce qui est produit ne dépend pas seulement de ce que les producteurs sont disposés à produire (l’offre), mais aussi de ce que les consommateurs sont disposés à acheter (la demande). Ainsi, une absence de relation claire entre production de pétrole et de prix ne signifie pas que l'offre de pétrole est inélastique au prix comme l'affirme l'article "le pétrole est-il inélastique ?". Comment alors interpréter rigoureusement les mouvements sur l'axe prix-consommation ? D'abord, il n'est pas sûr qu'un économiste emploie un modèle simple d'offre et de demande pour modéliser le marché du pétrole. Le modèle de l'offre et la demande suppose (entre autres) un grand nombre de producteurs qui vendent des biens similaires, sans s'entendre sur les prix. Ce n'est pas le cas du marché du pétrole, où un petit nombre d'acteurs qui concentre l'essentiel de la production interagit stratégiquement et s’entend grâce à l’OPEP. Ainsi, même le manuel de première année Core Economics propose un modèle un peu plus sophistiqué que celui de l'offre et de la demande (bien que proche du modèle séminal), modèle qui tente de rendre compte des phénomènes d'entente au sein de l'OPEP. Plus largement, il existe un champ vaste de la science économique qui étudie les marchés avec un petit nombre d’acteurs : l’économie industrielle. Ensuite, si on souhaite interpéter les variations sur l'axe prix-production/consommation de pétrole dans le cadre du modèle de l’offre et de la demande comme dans l’article, il faut à mon sens plutôt considérer que chaque point est un équilibre du marché, c'est-à-dire un prix et une quantité pour lequel l'offre et la demande sont égales. Le prix qui égalise l'offre et la demande est appelé le prix d'équilibre ; la quantité qui égalise l'offre et la demande est appelée la quantité d'équilibre. Ce prix a l'air bien stable. Comment expliquer qu'il puisse changer au cours du temps dans ce modèle? Réponse : il faut penser aux chocs. Un choc est un évènement qui déplace la courbe d’offre ou la courbe de demande. Autrement dit, un choc d’offre (de demande) est un évènement qui réduit la quantité offerte (demandée) pour un prix donné, ou qui change le prix nécessaire pour que les producteurs offrent (demandent) la même quantité - c’est la même chose graphiquement. Prenons l'exemple très fictif (!) d’un embargo sur le pétrole en 1973 par les pays de l'OPEP. Graphiquement, ce choc d'offre négatif déplace la courbe comme sur le schéma. Une des conséquences les plus directe du choc est en effet que les producteurs de pétroles offrent une tonne de pétrole a prix plus haut qu’avant. On voit ainsi sur ce schéma que suite au choc pétrolier, le prix d'équilibre est plus haut, et la quantité d'équilibre est plus basse. C'est un peu de cette manière que le manuel Core Economics interprète les déplacements sur l'axe prix-consommation de pétrole. Le prix du baril change à cause d'un choc d'offre (comme un choc pétrolier) ou de demande (comme le début de la grande dépression) : Les limites de l’approche sont cependant assez évidentes. En particulier, trouver une coïncidence temporelle n’est pas la preuve de l’action du choc, plusieurs chocs d’offre et de demande peuvent se produire en même temps, notamment du fait des comportements stratégiques des offreurs. Quand on veut dépasser l’illustration pédagogique, on comprend que les chercheurs se tournent vers des modélisations plus sophistiquées. Pour l'anecdote, on peut contourner le biais de simultanéité en utilisant la méthode des variables instrumentales, qui permet d'exploiter ces chocs - ce n'est qu'une méthode possible. Par exemple, pour isoler la demande, il faut trouver un instrument pour l’offre. Un instrument est une variable qui ‘choque’ une courbe pour en isoler une autre. Ainsi, quand la valeur de cette instrument varie, la courbe d’offre se déplace le long de la courbe de demande comme sur le graphique ci-dessus. La trajectoire des déplacements de la courbe d'offre dessine la courbe de demande (en pointillés) qu’on cherche à isoler. La deuxième réponse de JMJ j'aime beaucoup l'attitude qui consiste à dire "je prends ce qui me plait dans une convention mais pas le reste"... Confondre une grandeur et sa dérivée n'est pas un raccourci de langage. C'est une erreur (assez basique au demeurant). Confondre un prix et un volume (sur le pétrole) n'est pas une faute d'inattention. C'est une erreur (assez basique aussi). Incidemment vous n'avez pas plus compris mon propos dans votre réponse. Je n'entends pas réfuter une "loi de la demande". J'entends juste montrer qu'il n'y a pas d'élasticité de long terme entre prix et volume sur le pétrole, ce que, incidemment, tous les gens qui pratiquent l'économie réelle sur les commodités savent parfaitement. Il y a une élasticité de court terme, mais pas de long terme. Pourtant de telles élasticités de long terme sont utilisées dans des modèles économiques "de place". Une fois que vous avez écrit "il est possible que la baisse de la croissance d’énergie n’explique pas la diminution de la croissance du PIB", nos ne sommes pas plus avancés si vous n'avez pas une démonstration probante attribuant ce qui s'est passé à une cause précise. Je ne vois pas la pertinence du parallèle entre oxygène et énergie. L'oxygène atmosphérique baisse significativement quand vous montez à 2000 m d'altitude. Mais cela n'empêche pas des gens d'y vivre, parce que l'oxygène n'est pas limitant dès son premier % de baisse (alors que l'énergie est limitante sur le flux de transformation dès le premier % de baisse). Enfin une théorie que vous ne pouvez pas démontrer par des observations ne s'appelle pas une théorie, mais une hypothèse non démontrée (cas des anticipations). Quand vous serez amené à gérer des organisations, si cela arrive un jour, il vaut mieux éviter de se baser sur des hypothèses non démontrées.... Ma réponse à ce deuxième commentaire Ma mention des « cours » est une faute d’inattention quand le paragraphe suivant entier parle explicitement et sans ambiguïté du volume, personne n’a cru que je parlais du prix. Pas même les gens qui défendaient votre démarche dans les commentaires. Il en va de même pour le flux et la dérivée, ma phrase d’après est littéralement : « [JMJ] affirme que les variations de la quantité d’énergie expliquent celles du PIB ces dernières décennies.. » Qui peut alors imaginer que je confonds « flux et dérivée » et que c’est autre chose qu’un raccourci de langage ? Je ne vois vraiment pas ce « qu’écrire la croissance de l’énergie explique la croissance » aurait changé au fond de ma démonstration, surtout à la lecture de la phrase d’après. Enfin, pardon, mais je vous cite dans l’article : « on devrait voir que quand le prix monte (donc que le point se situe sur la partie droite par rapport à l’axe vertical) alors la consommation diminue (et donc que le point se situe aussi sous l’axe horizontal). Si cette « loi » était valable, donc, tous les points situés dans le cadran Nord-Est du graphique ne devraient pas y être, mais se situer dans le cadran Sud-Est. Manifestement, ce n’est pas le cas… » => comment pouvez-vous affirmer que vous ne souhaitez pas ici infirmer la loi de la demande ? Quel autre loi pourrait prédire une baisse de la consommation quand le prix augmente ? (J’écris « pourrait », parce qu’à nouveau la loi de l’ »offre et de la demande » dont vous parlez dans votre article (oui, oui) ne prédit absolument rien sur la consommation en soi Elle fait seulement des prédictions sur les quantités demandées et offertes.) Le terme d’élasticité du volume me semble très étrange. Je ne l’ai jamais entendu. J’ai toujours entendu parler d’élasticité de la demande, et d’élasticité de l’offre. On distingue les deux élasticités parce que le simple volume produit ou consommé agrège les chocs d’offre et de demande. Je ne vois pas quelle information l’élasticité prix du volume convoierait. En tout cas, cette élasticité ne convoie aucune information « sur la loi de l’offre et la demande » dont vous parlez dans votre article car elle ne fait aucune prédiction sur le simple volume, mais sur l’offre et la demande. Mentionner qu’il n’y a aucune élasticité entre volume et prix ne prouve pas non plus qu’un choc de demande négatif ne fait pas baisser le prix, ce qui était le coeur de votre remarque ; parce qu’à nouveau, je parle d’un choc sur la demande, pas sur le volume échangé, qui dépend aussi sur l’offre. Je ne comprends toujours pas comment cette information est supposée réfuter ma thèse selon laquelle il faut envisager le rôle des anticipations. Enfin, mon point est qu’un facteur limitant d’une variable n’est pas nécessairement un facteur qui explique principalement les variations de cette variable; on peut pinailler sur l’exemple, le principe reste. Je ne sais pas bien comment vous pouvez affirmer que je suis incapable de démontrer par des observations le cas des anticipations. J’ai le fait stylisé très connu que les anticipations précédent le PIB, et le résultat de l’analyse par machine-learning. Certes, contrairement aux autres mécanismes, je mentionne que je n’ai pas « isolé » le lien, mais : Cela impliquerait des travaux macro ou microéconométriques comme la littérature sur l’énergie et économie que je cite. Vous n’avez autant que je sache jamais basé vos travaux sur de tels exercices statistiques multivariés, ou des expériences bien contrôlées. Dois-je en déduire que vous n’avez rien démontré de votre carrière ? 2. A nouveau à ce stade, je cherche simplement à montrer les limites du raisonnement « la courbe précède une autre, donc ça suggère que la série qui se produit avant précède l’autre. » . Pour ça, il suffit de démontrer qu’un doute raisonnable est possible (cf le fait stylé, le lien hypertexte) et de montrer que la méthode que vous utilisez ne permet pas de corriger un biais s’il existe. Je ne sais pas comment le dire plus clairement. Il me semble que ça fait partie de la dialectique de base quand on fait tente d’isoler des liens causaux. Autres exemples du principe qu’il suffit de montrer un biais possible et que la méthode qu‘on utilise ne permet pas de le corriger pour montrer que la démonstration est insuffisante : -lorsqu’il y a des possibles variables omises dans une relation bivariée, cela suffit à ce qu’on ajoute des contrôles pour qu’on puisse comparer les résultats avec et sans contrôles. -En médecine et dans bien d’autres domaines, la possibilité de sélection par les inobservables justifie qu’on demande une expérience ou une quasi-expérience. Je précise qu’on appelle sélection par les inobservables le fait que dans une étude observationnelle, ceux qui ont reçu le traitement/ bénéficié de la politique diffèrent de ceux qui ne l’ont pas reçu de manières qu’on ne sait pas mesurer et ajuster statistiquement. Personne ne demande alors à mesurer les inobservables, personne ne dit « vous ne pouvez pas formuler cette critique tant que vous n’avez pas identifié ces facteurs inobservables », il y a un doute possible donc on ne fait pas d’affirmation causale - comme vos propos sur le lien pétrole-PIB. Puisque vous vous permettez un conseil condescendant, je vous fais celui-ci : par pitié, renseignez-vous sur l’inférence causale et l’économétrie. C’est utile quand « on dirige des organisations », d’ailleurs, il y a toute une vague de cours de « Causal Inference for Business » mais ça l’est surtout quand on veut faire des conférence sur le lien entre deux variables mesurées hors laboratoire, sujet sur lequel il existe une vaste littérature qui nécessite des bases en économétrie pour être comprise. Mon deuxième commentaire de réponse «  j’ajoute, comme j’ai l’esprit d’escalier, en réponse à « Une fois que vous avez écrit "il est possible que la baisse de la croissance d’énergie n’explique pas la diminution de la croissance du PIB", nos ne sommes pas plus avancés si vous n'avez pas une démonstration probante attribuant ce qui s'est passé à une cause précise. » => la théorie économique fournit bien des mécanismes parfois très bien isolés pour expliquer les fluctuations de la croissance à court et moyen-terme (accélérateur financier pour la crise de 2008, effet multiplicateur d’ailleurs isolé grâce à des expériences naturelles,...) et à plus long-terme (institutions, voir les travaux d’Acemoglu et Robinson par exemple...)

Les discriminations à l'embauche, Ismaël Saidi, Raphaël Enthoven, et la science

Il est des questions auxquelles il est difficile de répondre "non". "Êtes-vous pro-science ?" est probablement l'une d'entre elles. Etre pro-science a une conséquence inattendue : ceci implique d'admettre l'existence de discriminations à l'embauche. Aujourd'hui, je vous parle d'expériences, de consensus en sciences sociales, et de l'articulation entre faits scientifiques et opinions politiques. Ces derniers jours, plusieurs sceptiques (défenseurs des sciences) non spécialisés en sciences sociales ont manifesté (ou renouvelé) leur intérêt pour ces disciplines. Ainsi, Thomas Durand (Acermendax) conclut sa réponse à l'article de Libération par "Vivement que des sociologues, des anthropologues, des historiens, des économistes vulgarisateurs et vulgarisatrices encore plus nombreux nous apportent leurs analyses pour enrichir l’art du doute ! ". Dont acte. Certaines sceptiques avec qui j'ai échangé m'ont dit et ont dit à Olivier (l'économiste sceptique) qu'ils avaient eu du mal à considérer les sciences sociales à cause de la croyance que dans ces disciplines, il n'y a pas vraiment de réponses, que tout dépend de la perspective et de l'opinion de celui qui parle. On sait bien qu'en sciences naturelles, il existe des controverses, comme en physique sur la théorie du tout. Mais est-ce que les sciences sociales, ce ne serait pas que ça ? Des controverses, des résultats inconclusifs dont l'interprétation dépend de votre chapelle et de votre orientation politique ? Cette croyance me semble infondée. L'article d'aujourd'hui est l'occasion de le montrer. Je vais commencer par présenter un résultat consensuel, bien établi. Je vais ensuite confronter les résultats de la littérature au discours de certaines figures médiatiques, ce qui montrera qu'en sciences sociales comme en sciences naturelles, les mêmes questions se posent quant à l'articulation entre science et politique. Comme bien des sceptiques l'ont déjà compris, il n'y a donc pas lieu de ne pas accorder sa confiance aux sciences sociales mais de l'accorder aux sciences naturelles, sous prétexte que les unes seraient biaisées politiquement alors que les autres non. Ce résultat consensuel est l'existence de discriminations à l’embauche pour différentes minorités. Il s'agit d'un thème assez présent dans les médias. Une intervention d'Ismael Saidi a beaucoup été commentée. Le réalisateur raconte avoir « grand[i] avec cette musique qui vous dit « ils ne nous aiment pas, « ils ne veulent pas de nous ». (…) Vous vous retrouvez face à un gosse de 14 ans qui vous dit qu’on subit de la discrimination à l’embauche. En fait, il finit par vous avouer qu’il ne connaît personne qui a vécu de la discrimination, mais on lui a dit que c’était comme ça ». La vidéo de l’intervention a été retweeté avec enthousiasme par Raphaël Enthoven. Au fond, ce propos soulève une question très légitime. Comment prouver l'existence de discriminations à l'embauche ? Cette citation mentionne l'importance des témoignages. Mais ce n'est jamais dans ce cas une preuve suffisante. En dehors des cas où l'employeur clame haut et fort "je ne veux pas de vous parce que vous êtes noir/une femme/ homosexuel/ musulman", il semble a priori difficile de savoir pourquoi on a pas été embauché. On pourrait vérifier si les taux de chômage diffèrent entre les sexes ou les ethnies. Néanmoins, ce ne serait pas nécessairement une preuve de discrimination à l’embauche. Cet écart pourrait s'expliquer par d'autres variables comme le niveau d'instruction. La cause de la non-embauche ne se situerait alors pas à l'embauche, mais en amont. Il n'y aurait pas discrimination à l'embauche. Conçues pour adresser ce biais majeur, les études de correspondance consistent à envoyer des CVs fictifs à de vrais employeurs. Ces CVs ne diffèrent que par la caractéristique du postulant dont on cherche à évaluer l'effet sur l'emploi, comme l'ethnie, le sexe, ou le fait d'être défiguré ou non. Ainsi, par exemple, dans ce cadre, le fait que les hommes soient plus appelés que les femmes pour un entretien d'embauche ne pourrait s'expliquer que par un avantage des hommes, le sexe étant la seule caractéristique qu'on a fait varier dans les CVs. De nombreuses études de correspondance ont été menées un peu partout dans le monde. Entre 2005 et 2016 seulement, 90 études utilisant cette méthodologie ont été publiés selon Baert (2018). Le niveau de preuve sur le sujet est assez élevé ! Sur ces 90 études, une écrasante majorité mesure des discriminations négatives contre les minorités étudiées. En France, par exemple, et ce n'est qu'un exemple, une récente étude de Cahuc et al. (2019) montre que les postulants d'origine nord-africaine sont significativement discriminés dans le secteur privé en France. La revue de littérature de Baert que je mentionnais plus tôt cite aussi d'autres études menées en France. Elles isolent des discriminations à l'embauche contre les postulants d'origine africaine, les musulmans, et les mères. Le LIEPP, labo de Sciences Po mène aussi en ce moment une grande étude de correspondance. Si vous voulez en savoir plus, outre cette revue de littérature, je ne peux que vous conseiller cette publication de 'notre' prix nobel d'éco Esther Duflo. Comme tout résultat scientifique, celui-ci fournit par les études de CV a une portée limitée. Certaines critiques comme celle d'Heckman et Siegelman (2019) sont purement techniques et peuvent être adressées en changeant les méthodes statistiques couramment employées. D'autres sont plus profondes. D'une part, ces études de CV ne mesurent pas l'effet sur l'embauche mais sur la probabilité de se faire appeler pour un entretien d'embauche. On ne peut pas envoyer des postulants fictifs en entretien. Or, la discrimination peut s'effectuer aussi après l’appel de l’employeur, suite à l'entretien. Une solution consiste alors à utiliser la modélisation statistique pour tenter de mesurer des taux d'embauche le plus de choses égales par ailleurs. En effet, comme on peut vérifier si le salaire des hommes et femmes diffèrent à éducation, expérience... égales, on peut vérifier si les taux d'embauche de certaines minorités diffèrent du reste de la population à niveau d’instruction, classes sociales égales... On peut aussi faire des simulations du marché du travail calibrées sur des données réelles comme le fait justement l'économiste du travail Pierre Cahuc dont je citais un article plus haut. D'autre part, ces discriminations à l'embauche ne sont qu'une faible partie du phénomène plus large des discriminations. Peut-être regarde-t-on le sujet par le petit bout de la lorgnette. Plutôt que d'essayer de mesurer un taux d'embauches à caractéristiques égales, on pourrait aussi se demander pourquoi les caractéristiques individuelles diffèrent. Par exemple, existe-t-il des mécanismes sociaux qui expliquent que femmes et hommes, natifs et immigrés aient des nombres d'années d'étude différents ? Une conclusion s'impose néanmoins. On peut tenir comme un fait scientifique l'existence de discriminations à l'embauche, au même titre que le fait que la balance bénéfique-risque des vaccins obligatoires est largement positive. Dans les deux cas, il s'agit de résultats d'expériences bien contrôlées et bien répliquées. Petite précision : je ne dis pas qu'on ne peut produire des connaissances en sciences sociales qu'avec des statistiques et en isolant des causalités. Je crois aussi en l'importance des méthodes qualitatives, et j'aimerais qu'elles se développent en science économique plus vite que c'est le cas actuellement. Plus largement, les expériences contrôlées ne sont pas le seul moyen de produire de la connaissance scientifique. Certaines disciplines scientifiques se sont développées sans, comme l'astronomie. Simplement, si on tient les expériences contrôlées comme un moyen fiable de produire des connaissances, il faut accepter tous leurs résultats. Est-ce là la preuve scientifique qu'il faut être de gauche ? La nécessité de distinguer le discours normatif et le discours positif Quelle conclusion politique en tirer ? Est-ce que ces résultats impliquent que les propos d'Enthoven et Ismael Saïdi sont débunkés par la science ? Pas vraiment. Ismaël Saidi ne nie pas l'existence des discriminations à l'embauche. Il les minore. Dans son tweet, Enthoven non plus. Il se contente d'affirmer que les mentionner participerait d'une forme de victimation. Il s'agit de jugements de valeur. Or, on peut arguer que la science n'a rien à dire dessus. Elle ne peut dire que ce qui est, pas si ce qui est bien ou mal. C'est en tout cas la différence entre un discours positif (qui dit les faits) et un discours normatif (qui assigne une valeur morale à ces mêmes faits). Je crois que cette différence entre un discours normatif et un discours positif est fondamentale. On devrait la marteler dans les débats télevisés. Je sais aussi d'expérience qu'il est possible d'avoir des discussions non normatives sur l’effet des politiques, en témoignent certaines réactions à mon billet sur l'efficacité du confinement et mes interactions avec beaucoup de chercheurs. Bien sûr, comme toute typologie, la dichotomie normatif/descriptif a ses limites. On peut tenter d'élargir la réflexion dans deux directions. Néanmoins, aucune des deux nuances que je vais présenter n'implique de préférer les sciences naturelles aux sciences sociales. D’une part, il peut exister des effets d'agenda. L'orientation politique d'un chercheur peut le conduire à s'intéresser à un sujet plutôt qu'un autre. Un économiste qui par ailleurs serait de gauche/étatiste pourrait être plus intéressé par la question des inégalités qu'un économiste qui serait par ailleurs libéral, et pour qui seuls compteraient le mérite ou la pauvreté absolue. Mais cette critique n'est pas spécifique aux sciences sociales. Certains objets d'études en sciences naturelles ont une dimension politique absolument évidente : OGMs, réchauffement climatique, effet des vaccins... On peut par exemple aussi imaginer qu'un militant écologiste devienne un chercheur en sciences du climat au moins en partie à cause de son orientation politique. Néanmoins, tout ceci n'est pas problématique tant que l'orientation politique des chercheurs ne détermine pas les réponses que les chercheurs donnent aux questions qu'ils se posent. On pourrait alors être tenté d'en faire un critère de démarcation entre sciences sociales et naturelles. En sciences sociales, l'orientation politique déterminerait la réponse aux questions mais pas en sciences naturelles. Néanmoins, les données rejettent cette hypothèse. En science économique, un sondage de Gordon et al. (2013) démontre que l'orientation politique des économistes-répondants ne prédit pas leur position sur les sujets de recherche considéré dans l’étude. Le même sondage trouve de nombreuses aires de consensus entre économistes interrogés. De même, Reineiro et al. (2020) qui étudient 194 articles en psychologie démontrent que l'affiliation politique des chercheurs ne prédit pas si leur expérience pourra être répliquée ou non, un résultat qui tient quelque soit l'orientation politique de celui qui vérifie si l'expérience est reproductible. L'orientation politique n'est pas non plus liée au nombre de citations (par d'autres chercheurs) de l'article, et à la taille d'effet de l'étude originale. Je n'ai pas trouvé d'exercice parfaitement comparable dans une discipline des sciences naturelles. Néanmoins, Carlton et al. étudient (2015) l'adhésion à la thèse de l'existence d'un réchauffement climatique causé par l'homme parmi des chercheurs dans plusieurs disciplines en sciences naturelles. Ce sondage concerne des chercheurs qui ne sont pas climatologues mais ont un champ d'expertise proche : météréologues, océanologues, physiciens, ingénieurs, spécialistes des ressources naturelles... Même si la thèse d'un réchauffement à l'oeuvre et causé par l'homme emporte une très haute adhésion dans cette communauté, ["les chercheurs] qui pensaient que les températures avaient augmenté étaient significativement (...) plus à gauche ("more liberal" dans le texte, que j'entends au sens américain) que ceux qui ne pensaient pas qu'elles avaient augmentées." Je présente ces résultats de manière provocatrice. On trouve aussi bien sûr des indices que l’affiliation politique des chercheurs peut influencer la formation des résultats des études en sciences sociales. Je ne cherche pas à démontrer que les sciences sociales sont neutres contrairement aux sciences naturelles qui seraient biaisées politiquement. Mon propos est que la question des biais politiques se pose en sciences sociales comme en sciences naturelles. On ne peut donc pas en faire un critère de démarcation entre les deux. Je vous conseille d'ailleurs cet article du philosophe Joshua May sur l'importance (relative) des valeurs, des idéologies, dans les sciences, toutes les sciences... dont je reparlerai. D'autre part, il faut tenir compte de ce que j'ai envie d'appeler la valse entre le normatif et le positif. Souvent, lorsqu'on émet un jugement de valeur sur un fait, même le plus établi, notre discours progresse et on finit par émettre de nouvelles propositions testables empiriquement. L'existence de discriminations à l'embauche pose la question des politiques pour la réduire. Par exemple, est-ce que les politiques de discrimination positive sont efficaces ? Est-ce qu'elles permettent d'augmenter l'employabilité, les salaires, la satisfaction des minorités discriminées ? Cette interrogation est empirique, et appelle à utiliser tout un autre champ de la littérature que je connais moins. Mais quelque soit la conclusion des ces études, elles ne disent pas s'il faut implémenter ou non des politiques de discrimination positive. On pourrait être contre les politiques de discrimination positive même si elles sont efficaces parce qu'elles impliquent une rupture de ce qu'on définit comme le pacte républicain. On pourrait être pour les politiques de discrimination positive même si elles ne sont pas efficaces parce qu'on ne supporte pas l'idée qu'on ne donne pas des droits différents à des individus avec des opportunités différentes. Je serais curieux de connaître la position de Raphaël Enthoven sur ces questions épistémologiques. C'est un sujet sur lequel on l'entend peu. Est-ce qu'il reconnaît la pertinence des résultats que j'ai cité, mais leur donne l'interprétation politique que j'ai présenté ? Est-ce qu'il conteste même le résultat des études de CV ? Je serais tout aussi curieux de savoir ce qu'Ismael Saïdi pense de ce billet, même si je connais moins son travail.

Petit retour sur mon premier article, et d'autres sources sur le post de blog

Ca y est ! Le premier article du Blog de l'Empiriciste est paru. Je tiens à vous remercier chaleureusement de votre patience (certains l’ont attendu des mois), de votre intérêt, et de certains de vos commentaires. Comme promis sur Twitter, voici en vrac un petit commentaire des commentaires de ce premier post de blog. Je veux ici répondre à des questions et objections, fournir des sources complémentaires, et préciser ici ma démarche. Rassurez-vous, Philippe Quirion est au courant de cet interview Sur Facebook, et parce que mon site vient de paraître, on a émis la possibilité que cet interview soit fausse. Rassurez-vous : j'ai été en contact avant, pendant, et après la rédaction de l'article avec Philippe Quirion. Pour preuve, il a d'ailleurs partagé l'interview sur son compte twitter. Les corrections mineures - Le lien vers le premier article que Philippe Quirion citait ne marchait pas. J'ai réglé ce problème. Les références exactes étaient disponibles dans les sources de l'article. - Un lien vers le rapport du GIEC cité a été ajouté, ainsi que la citation originale. - Bien évidemment, le GIEC ne « prévoit » pas vraiment comme je l'ai d'abord écrit. Il fait une synthèse de la littérature scientifique. C'est une erreur de transcription des propos de P. Quirion donc elle est mienne ; elle provient d'une faute d'inattention, non du fait que j'ignore l'activité du GIEC. - Concernant le calcul de l'évolution des facteurs de charge en fin d'article, j'ai précisé le terme "calcul". Philippe Quirion ne s'est pas contenté de faire la différence entre le facteur de charge entre 2020 et 2012. Il a fait une régression linéaire (une simple modélisation statistique) pour tenter de dégager une tendance. On a pu souligner que les facteurs de charge pouvait avoir une forte variabilité inter-annuelle. P. Quirion m'a répondu "Pour l'éolien, la tendance est faible et les variations interannuelles relativement importantes. La tendance n'est pas forcément significative. En revanche, pour le solaire, la tendance est forte. Les variations interanuelles sont faibles. Il y a bien une tendance à la hausse. Surtout, le coeur de cet argument était de souligner que fixer des valeurs aussi inférieures aux observations biaise les résultats.". Pour élargir la réflexion, d'autres ressources intéressantes Je vous propose deux autres ressources pour élargir la réflexion: - Une autre mise en perspective de l'article de Jean-Marc Jancovici par Emmanuel Pont. - Le physicien Greg De Temmerman que vous pouvez suivre sur twitter a commenté : "Intéressant. Je suis un peu critique sur la référence à l'article de Brown et al qui est loin de faire consensus- d'ailleurs et qui vient de la même période que les critiques à Jacobson et al". Il fournit cette étude en source. - Kevin Arnoux propose aussi une synthèse des différentes études les plus connues sur le mix électrique en France. -vous pouvez aussi découvrir le travail de Damien Salel, ingénieur spécialisé en énergie qui remet aussi en perspective les simulations de JMJ Merci pour vos contributions ! N'hésitez pas à me contacter si vous avez d'autres sources intéressantes. J'attends plutôt des liens vers des publications scientifiques (si possible publiées dans des journaux à haut facteurs d'impact) ou des contribution de spécialistes (ex: ingénieurs spécialistes en énergie), chercheurs, des docteurs en sciences de l'environnement/sciences sociales appliquées à l'environnement qui publient dans des revues avec relecture par les pairs. A défaut, des contributions d'intervenants comme Emmanuel Pont qui font référence à la littérature scientifique, et reconnaissent les limites de leur propre expertise me conviennent aussi tout à fait. Pourquoi tant insister sur la revue par les pairs ? Pourquoi insister tant sur les chercheurs, ou en tout cas sur l'importance de citer des travaux publiés dans des revues scientifiques ? On m'a rétorqué que le fait qu'un travail soit publié dans une revue d'experts respectable n'était pas la garantie qu'il était infaillible. Au risque de dissiper des fantasmes positivistes, il n'existe aucune garantie d'infaillibilité. Néanmoins, sur des sujets qui nécessitent des connaissances et compétences très spécifiques, on n'a pas trouvé meilleur système que la reconnaissance circulaire entre experts: il vaut mieux croire les travaux qui ont été relus et validés par la communauté d'experts d'un domaine, si possible via des journaux qui ont bonne réputation au sein de cette même communauté. La revue par les pairs est un principe scientifique cardinal, et je pense qu'il est difficile de se dire pro-science sans y adhérer. Oui, ce principe de reconnaissance par les pairs est imparfait, mais il semble indépassable. Qui d'autre qu'un expert pour juger votre expert ? Quand on nous parle d'un sujet qu'on ne maitrise pas, notre ignorance nous empêche de jauger seuls la validité des propos de nos interlocuteurs. C'est de là que tirent leur légitimité tous ces gages d'expertise: doctorat, poste de chercheur dans des instituts reconnus, et surtout articles validés par les pairs. Tout ceci n'est pas une garantie absolue de véracité, mais c'est une des rares garanties de compétence dont on dispose: la science est peut-être le pire mode de production de connaissances, mais c'est à l'exception de tous les autres. Pourquoi il ne suffit pas de dire que Philipe Quirion est un militant pour réfuter ses propos Beaucoup ont souligné, à raison, que P. Quirion était un militant associatif qui avait pris à de nombreuses reprises des positions fermes contre le nucléaire. On a partagé une série de critiques et de vérifications des déclarations du RAC, réseaux d’association qu’il préside. Ce n’est pas un sujet de débat illégitime, mais ce n’est pas du tout celui de l’article. Toutefois, comme la plupart d'entre-vous, je considère qu'une activité militante est toujours un fait important à signaler. Dont acte: je le mentionne très tôt, dans la troisième phrase du chapeau de l'article. Pour reprendre l'heuristique (principe d'aide à la décision) proposée par l'économiste sceptique, les militants actifs ont des incitations particulières à défendre certaines positions et présenter préférentiellement certaines informations - pour le dire de manière caricaturale, ils ont peu d'intérêt à scier la branche sur laquelle ils sont assis. Ceci s'applique aussi à Jean-Marc Jancovici d'ailleurs, mais sans doute moins à un chercheur qui ne militerait pas activement. Toutes choses égales par ailleurs, il n'est donc pas absurde de considérer que les propos d'un militant actif nécessitent a priori plus d'efforts de vérification que ceux d'un non-militant. Néanmoins, trois objections sont importantes à formuler ici. Premièrement, on est jamais tiré par un seul fil ! Philippe Quirion n'est pas uniquement militant (ce qui en soi n'aurait rien de déshonorant), il est aussi un chercheur dont le travail sur le sujet sur lequel il est interviewé est reconnu par ses pairs. Il est docteur en économie de l'énergie, chercheur au CNRS. Il publie des articles dans des revues à comité de lecture. Ceci implique qu'il a également des incitations en sens contraire de celles d'un militant non chercheur. Prononcer des absurdités, falsifier des données, ou même tenir un discours vraiment fragile scientifiquement pourrait lui valoir le discrédit de ses pairs. Or, c'est sur l'approbation par les pairs que repose toute carrière de chercheur ! Je ne suis pas en train d’écrire que ceci suffit à garantir la rigueur d‘un propos. Mon point est qu’il y a plusieurs forces contradictoires à l’oeuvre, et, si on veut examiner les incitations qui peuvent modeler un discours, il faut toutes les considérer. On a pu comparer Philippe Quirion a un autre chercheur en économie célèbre mais très politisé par ailleurs, le mari de Julia Cagé, Thomas Piketty. Je ne sais pas dans quelle mesure la comparaison est pertinente. Mais même s'il est, cela ne me fera pas regretter mon choix d'interviewé. Sur son sujet de recherche, les inégalités, T. Piketty jouit d'une authentique reconnaissance de la qualité de son travail par ses pairs. Ceci justifierait tout à fait que je l'interviewe pour parler de ses recherches. S'il lit cette interview et qu'il est intéressé par un échange, il peut m'écrire à unempiriciste@gmail.com ^^ Deuxièmement, j‘expliquais plus haut que le militantisme d’un auteur légitimait parfois des efforts de vérification supplémentaires de ses propos. Mais dire que celui qui parle est militant n’est pas la preuve qu’il a tort. La véracité des propos d'un individu dépend entièrement... de la véracité de ses propos. Si on est incapable de dépasser la mention de liens d'intérêt, si on ne sait pas pointer ce qui pourrait être gênant ou tronqué dans l'interview -comme certains commentateurs ont su le faire, l'argument du militantisme devient caduc. Troisièmement, P. Quirion montre que certaines erreurs de Jean-Marc Jancovici le conduisent à surestimer... les coûts du nucléaire ! En particulier, il pointe que JMJ fixe un coût/euro par KW du nucléaire plus élevé que les observations, et que son choix (dans l'article de blog dont il est question) de ne pas actualiser tend à pénaliser le nucléaire. Il aurait été facile pour P. Quirion d'occulter ses points. Ceci suggère qu'il a pensé en chercheur, c'est-à-dire contre lui-même. Cela ne rend pas notre interviewé infaillible pour autant: personne ne l'est, mais je considère cela comme un signal positif quant à la rigueur de sa démarche. Ceci met aussi en lumière le sujet central de cet interview: le degré de rigueur de la simulation excel de JMJ. Au delà la question du mix optimal, les limites de l’approche par les calculs de coin de table Parce que les erreurs et choix contestables de JMJ ne conduisent pas tous à réduire artificiellement son coût estimé nucléaire et à augmenter celui des renouvelables, cet interview ne prouve pas que la thèse de JMJ est indéfendable. L'article rappelle d'ailleurs qu'il existe certaines estimations dans les canons scientifiques avec des mix optimaux à majorité nucléaire. A titre personnel, je n'étais pas un militant antinucléaire, et je n'en suis pas devenu un suite à mes échanges avec P. Quirion. J'ai pourtant trouvé sa critique de l'exercice de JMJ édifiante. Je sais que je ne suis pas seul dans cet exact cas. En effet, je n’ai pas conçu cet interview pour qu’elle tranche le débat du meilleur mix énergétique à horizon 2050, débat dont la réponse dépend aussi d'arbitrages politiques. Ceci aurait nécessité un article beaucoup plus long, où par exemple P. Quirion aurait longuement présenté un modèle alternatif. Le sujet de l’interview était les limites de l’exercice mené sur le blog de Jean-Marc Jancovici. Est-ce qu’on peut vulgariser avec justesse et énoncer des conclusions fiables en remplaçant l'explication de la littérature scientifique par des calculs de coin de table ? C’est à mon sens sur la capacité à éclairer la répondre à cette question qu’il faut juger l’article. Cet interview permet, je crois, de mieux comprendre en quoi la simulation excel de JMJ diffère de la littérature: choix étrange de séparer éolien et nucléaire dans le calcul, hypothèses hardies sur le stockage, hypothèses parfois en marge des observations (ce qui est certes moins grave pour un modèle-jouet)... Je crois que c’était utile à en juger par les remerciements que j’ai reçu. C’est tout l’esprit de cette série d’articles: confronter les propos de JMJ à une littérature scientifique qui traite de sujets similaires ou proches des siens, mais qu’il ne cite pas. Ainsi, le prochain article sur le lien énergie-économie tentera de résumer une abondante littérature empirique sur ce sujet qui est cher à Jean-Marc Jancovici. Qu'est-ce que c'est que cette histoire de faire mentir les chiffres ? Est-ce que j’accuse JMJ de les faire mentir sciemment ? Non. Cet article est hébergé sur le blog d'Un Empiriciste. Comme le site l'indique maintenant: « Le Blog d'un Empiriciste est un projet complémentaire du site en construction Comment Faire Mentir les Chiffres, qui présente les biais qui peuvent fausser notre lecture des données, et nous empêcher d'entendre ce que les chiffres disent vraiment. Sur ce blog, il s'agit plutôt de savoir comment ne pas faire mentir les chiffres. On y parle surtout de comment les chercheurs en science économique, en sciences sociales et dans d'autres disciplines encore testent leurs théories. Ce blog présente les méthodes par lesquelles les chercheurs tentent d'écouter ce que les chiffres ont vraiment à dire. Mais il comportera aussi des articles sur la science économique en général (la théorie du ruissellement est-elle vraie ?), le fonctionnement des sciences (les revues scientifiques les plus réputées publient-elles les articles les plus fiables ? Que dit la recherche ?), et l'articulation entre science et société (quel pouvoir donner aux experts ?)." Quel est le projet de ce blog et site ? La citation plus haut répond assez bien à cette question. J'y reviendrai plus longuement dans le dernier article de la série, mais le propos entre guillemets montre bien que Le Blog de l’Empiriciste n’a pas du tout vocation à devenir le blog de l’anti-jancoviciste, ni un blog uniquement consacré aux énergies et à l’environnement. Après cette série, je continuerai à aborder régulièrement la question de la transition écologique, mais principalement sous l’angle de l’évaluation des politiques publiques. Si une politique comme la taxe carbone est mise en place, comment savoir si elle a été efficace ? Si les émissions montent après la politique, n’auraient-elles pas plus monté sans ? Si elles baissent, ne se seraient-elles pas réduites de toute façon ? Depuis quelques décennies, les chercheurs en sciences sociales, et particulièrement les économistes ont développé des méthodes plus rigoureuses pour répondre à ce type de question. Il s’agit d’un enjeu essentiel: pour assurer la transition écologique, il faut savoir ce qui marche, et à quel prix. *** A bientôt, et merci de l’intérêt que vous portez à mon travail. J’ai hâte de vous présenter l’article sur le lien économie-énergie et  « le meilleur modèle macroéconomique du monde » qui sortira vendredi prochain.

Réponse aux critiques de mon deuxième article

La semaine dernière est sorti mon deuxième article sur JMJ. Je l’ai publié avec une certaine appréhension : cette fois-ci je n’interviewais pas, j’écrivais seul, et pour mettre en perspective les propos d’une figure populaire. Je tiens à vous remercier de m’avoir lu et des commentaires positifs, voire d’encouragement et de soutien que j’ai reçus. Merci beaucoup ! Sur Reddit, merci à Serialk, à Prae et encore à d’autres d’avoir partagé mes articles et de votre contribution au débat. Je n’aurais souvent pas écrit autre chose que vous. Naturellement, l’article a suscité certaines critiques. Certaines étaient intéressantes et constructives. D’autres beaucoup moins. J’aimerais revenir avec vous sur une partie des remarques les plus récurrentes. Le prochain article sera aussi l’occasion d’en adresser encore d’autres (les tenants de l’hypothèse du EROI minimal ou de l'existence d'une production plus physique qu'une autre, je pense à vous). Les points que je vais aborder sont : Est-ce que je fais du pinaillage statistique ? Est-ce que la question que je me pose est sans intérêt ? Est-ce que je ne me détourne pas de vraies questions pour promouvoir un programme discrètement climato-sceptique, ou au mieux, techno-optimiste ? (Spoiler: non) Est-ce que je cite une littérature sans intérêt car issue de la science lugubre ? Est-ce que la littérature que je cite n'est qu'orthodoxe ? Premier argument : Du pinaillage statistique ? J’ai trouvé la version la mieux formulée de cette critique sur le forum des shifters : “l’essence que je met (sic) dans ma voiture est extrêmement bien corrélée, en cumulatif, avec la distance que je parcours. Peut on en conclure que j’ai besoin d essence pour rouler? Mais n’est ce pas au contraire parce que je fait plus de distance que je remplis mon réservoir ? L’argent que je dépense n’est il pas une variable cachée? Après tout sans argent, pas d’essence, et plus j’ai de l’argent, plus je voyage. Et puis en fait, souvent je commence d’abord par faire des km avant d’aller a la pompe (le mec pas prévoyant), la causalité de Granger indique donc distance->consommation, la causalité est donc dans le sens opposé d’après les données ! → Conclusion : Plus de recherche économétrique est nécessaire pour conclure si un moteur consomme de l’essence car c’est un processus bien plus complexe que ce que disent les ingénieurs qui ne comprennent rien aux statistiques Ps: je caricature exprès, mais n’hésitez pas a me dire si c’est à côté de la plaque… Il se peut que j’ai raté quelque chose.” J’écarte ici le passage sur la causalité de Granger. L’auteur du post insinue que je dis que le fait qu’une série en précède une autre dit quelque chose du lien de causalité qui les unit (“Et puis en fait, souvent je commence d’abord par faire des km avant d’aller a la pompe (le mec pas prévoyant), la causalité de Granger indique donc distance->consommation, la causalité est donc dans le sens opposé d’après les données !”): toute une sous-section du billet est dédiée à expliquer l’inverse, la seule personne citée dans mon article qui produit un raisonnement comparable est JMJ. Le reste du commentaire est plus intéressant. Filons cet exemple. Il ne s’agit pas de savoir si un moteur consomme de l’essence dans mon article : je ne nie pas que notre économie nécessite de transformer de l’énergie. Il s’agit plutôt de voir si, pour nécessaires qu’elles soient, des variations de la consommation d’essence peuvent vraiment expliquer la distance parcourue par un individu. Imaginons donc qu’on cherche à expliquer les déplacements d’un individu: Michel Dupont. De 2003 à 2005, Michel fait en moyenne 20km en voiture par semaine. De 2005 à 2008, il n’en fait plus que 10 km. La raison de cette baisse est que Michel a quitté sa compagne, chez qui il se rendait souvent. Mais, nous, observateurs extérieurs, nous l’ignorons, nous ne disposons que de données quantitatives sur ses déplacements et sa quantité d’essence. Imaginons encore que cette question fascine l’humanité. Soudain surgit un intellectuel charismatique. Il affirme être en mesure d’expliquer la baisse de la distance hebdomadaire parcourue par Michel. En effet, il se trouve que “l’essence que [Michel] met dans ma voiture est extrêmement bien corrélée, en cumulatif, avec la distance qu’il parcourt”. D’ailleurs, les pics d’essence dans sa voiture précèdent ses déplacements ! L’intellectuel prétend alors avoir trouvé le meilleur modèle en michelologie du monde. Si Michel s’est moins déplacé, c’est parce qu’il manquait d’essence ! Cette posture est celle de JMJ quand il affirme pouvoir expliquer la crise de 2008 et le ralentissement de la croissance dans certains pays ces dernières décennies par une baisse de la consommation d’énergie - ça ne veut pas tout dire que c’est sa seule thèse, JMJ parle au moins autant du futur que du passé. Un doctorant en michelogie répond alors que corrélation n’est pas causalité, et que si les pics d’essence précédent ceux de déplacements de Michel, c’est simplement qu’il “est prévoyant” et non parce que la quantité d’essence disponible contraint ses déplacements. Il y a sans doute un facteur qui explique à la fois la baisse de consommation d’essence et la baisse de ses déplacements. Michel ne se déplace pas au hasard en France ! Il existe une vaste littérature en michelogie, mais aussi en économie du transport, dans des revues avec des ingénieurs automobiles dans leur comité de lecture qui explore plusieurs autres hypothèses que celle que Michel a soudainement manqué d’essence. Comme la croissance économique, ce qui meut Michel n’est pas seulement déterminé par des contraintes physiques. La distance que Michel parcourt est aussi le fruit de facteurs humains et sociaux. Ce sont ces facteurs qui le poussent à vouloir parcourir une plus grande ou petite distance. Bien sûr, de la même manière que notre économie nécessite de la transformation d’énergie, l’essence est nécessaire à tous les déplacements de Michel ! Mais je ne sais pas qui pourrait affirmer que c’est là la cause de la baisse de ses déplacements depuis 2005. Il semble que la cause soit plutôt sa rupture, qui a elle-même réduit sa volonté de se déplacer et sa consommation d’essence. Il me semble que c’est ce que l’auteur du post a « manqué » - ou ce que ‘vous avez manqué’ si vous me lisez. Si c'est le cas, je vous remercie néanmoins de ce commentaire. Il a le mérite d’être construit. Il porte sur la pertinence de l’abondante littérature scientifique que je résume, et pas sur ce qu’on imagine de moi. Il est articulé, au même titre que d’autres d’ailleurs sur le forum des shifters, qui n’est pas le repaire de fanatiques en adulation devant leur gourou JMJ qu’on décrit parfois. Je préfère lire ce type de critiques à celles qui arguent au choix que: je suis doctorant donc pas vraiment économiste => je dis cela dans une intro narrative, “économiste”, c’est comme ça que m’appellent mes proches mais c’est en effet discutable. C’est ce qui était suggéré par la formulation du chapeau “économiste, enfin doctorant” - si j’avais voulu me donner une aura que je n’ai pas, je me serais arrêté à “économiste”; mes articles ont des coquilles => vous m’en voyez fort contrit, mais ceux de JMJ aussi, et je n’ai jamais entendu cet argument pour discréditer ses propos, c’est un bon signal du niveau intellectuel de la remarque ; je cherche à avoir mon quart d’heure de gloire => quand bien même être lu serait ma seule motivation, et ce n'est pas le cas, ça ne dirait rien de la qualité de mon exercice de vulgarisation et de revue de littérature. Le sujet mérite mieux que de l’ad hominem. Ce que montre le commentaire auquel je réponds dans cette sous-section, c’est qu’à ces insultes, on peut préférer la pensée - surtout sur des sujets aussi importants. En effet, si je ne parle pas encore de soutenabilité, j’aborde tout de même un sujet crucial. Deuxième argument : je passe à côté de la vraie seule question ! La baisse de la croissance ces dernières décennies et les causes des crises, un sujet sans intérêt ? Une autre critique courante concerne l’intérêt de la question que j’aborde. A quoi bon tenter d’expliquer la part de la croissance qui n’est pas due à des variations exogènes de la quantité d’énergie ? C’est ce que suggère par exemple ce post: “ Quel est le but conscient ou inconscient de ces débats. Le déni du problème ? Préserver l’autorité des économistes ? Ca me fait (un peu) penser a l’époque ou l’industrie du tabac cherchait justement toutes les variables cachées possibles pour dire que le lien de causalité entre cigarette et cancer n’était pas démontré. Il y aurait pas mal de discussions plus constructives à avoir.” On peut en effet penser qu’il n’est pas constructif de discuter de si la disponibilité de l’énergie joue au jour le jour un rôle dans les variations du PIB et qu’à ce titre ce facteur aurait pu expliquer la baisse de la croissance dans certains pays développés et dans les crises passées. Ceci implique de considérer les efforts de JMJ pour penser ces questions précises sont aussi vains et sans intérêt. On pourra surtout vous répondre que les crises passées ont détruit des millions de vies. Ces dernières décennies, la baisse tendancielle du PIB a réduit les recettes fiscales des Etats. Si vous êtes interventionniste, c’est un problème car cela réduit toutes choses égales par ailleurs les moyens d’actions étatiques pour lutter contre les inégalités, la pauvreté absolue, le réchauffement climatique - JMJ ne dit pas autre chose. Si vous êtes libéral/libertarien, c’est un problème car cela peut inciter les Etats à augmenter leurs taxes pour maintenir leur niveau d’intervention dans l’économie. Mais quelque soit votre orientation politique, j’ai dû mal à concevoir qu’on puisse sérieusement considérer que ces questions manquent d’intérêt. Bien sûr, la question de la soutenabilité de la croissance dans le siècle à venir est importante, peut-être encore plus. Mais d’une part, cette littérature débroussaille un peu le problème. Si c’était uniquement ou principalement des variations de la disponibilité d’énergie qui causaient crises et reprises, on aurait du mal à concevoir qu’on puisse découpler la croissance du PIB de celle de la quantité d’énergie transformée : je ne parle d’une situation où l’activité économique ne nécessiterait plus de transformer l’énergie, je parle d’une situation où l’économie pourrait continuer à croître avec une quantité stable ou très légèrement croissante d’énergie. Ce résultat ne tranche pas cette question très complexe, mais disons qu’il la lime un peu. D’autre part, je reconnais que la question de la soutenabilité est très importante, mais je ne peux pas traiter toutes les questions très importantes en même temps. Mon article faisait déjà 20 minutes de lecture, ce qui est bien plus que le temps de lecture moyen sur ce blog. C’est pourquoi j'ai choisi de documenter cette question dans un second temps, avec cette interview de Grégory de Temmerman. Ca me fait (un peu) penser à l’époque ou l’industrie du tabac cherchait justement toutes les variables cachées possibles pour dire que le lien de causalité entre cigarette et cancer n’était pas démontré.” Quelle étrange analogie ! Les fabricants de tabac ne sont pas les seuls à faire de l’inférence causale, c’est-à-dire à tenter d’appliquer des méthodes statistiques pour distinguer corrélation et causalité. C’est une grande partie du travail de nombreux épidémiologistes, économistes, politologues à l’américaine, sociologues… Surtout, il existait un consensus scientifique sur l’existence d’un lien causal de la consommation de cigarette vers le cancer. Ce n’est clairement pas le cas sur la question de la direction de la causalité entre énergie et économie. J’en déduis qu’on me compare aux fabricants de tabac parce qu’on insinue que je voudrais minimiser l’importance de la question du réchauffement climatique ou de la soutenabilité de la croissance économique. Je vous rassure : ce n’est pas le cas. Ni moi, ni les auteurs des études que je cite, ni les économistes en général ne nient l’importance de la question climatique. Ce sera le thème de mon prochain article la semaine prochaine, mais voici par exemple le résultat de ce sondage. Après la COP21, on a interrogé un panel d’économistes de l’environnement, en s'assurant qu'il s'agissait d'experts reconnus dans leur sous-discipline. 95% des sondés considéraient que les Etats-Unis devaient respecter leurs engagements environnementaux. Et c'est un seul des sondages que je vais utiliser dans l'article suivant pour caractériser ce que les économistes pensent de l'environnement, ce qui les divise, et les outils qu'ils proposent. En effet, les économistes contribuent au débat environnemental de bien des manières. Par exemple, à la faveur de ce qu’on appelle parfois la révolution de crédibilité, les économistes ont trouvé de meilleurs moyens d’isoler l’effet des politiques environnementales. C’est crucial. Exemple : si on met en place une taxe carbone et que les émissions continuent à monter, comment savoir si elle a été efficace ? Peut-être que les émissions auraient été plus hautes encore sans la taxe. À l’inverse, si les émissions baissent, comment savoir si c’est à cause de la taxe ? Peut-être auraient-elles été encore plus basses sans elle. L’evidence-based policy appliquée à l’environnement sera un des thèmes de mon prochain article qui sortira la semaine prochaine. Troisième argument: cette littérature ne vaut rien car la science économique n’en est pas une ! On trouve plusieurs variantes de cet argument, j’ai choisi celle-ci : Assez amusant, ça montre surtout à quel point la « science » économique est incertaine puisque les différentes études prouvent tout et son contraire selon les hypothèses choisies par les auteurs. Trois remarques : Ce n’est pas tout à fait ce que dit mon billet. Les chercheurs ont employé plusieurs techniques pour tenter de neutraliser l’impact des choix arbitraires des chercheurs, notamment la méta-régression. Il arrive qu‘en se servant de la méta-régression pour trouver ce qui résiste aux changements de spécification arbitraires, on trouve des résultats convergents- voir par exemple les méta-analyses de Card et al. (2010) et Vooren et al. (2018) sur l’effet des politiques actives sur l’emploi. Mais ici, concernant le lien énergie-économie, cet exercice révèle plutôt qu’il n’y a pas de lien fondamental, de sens de causalité privilégié entre énergie et PIB. On peut toujours critiquer la méta-régression et son usage. Le débat ne porterait alors plus seulement sur la science économique, il serait aussi très statistique. La méta-régression est en effet aussi employée dans d’autres disciplines comme la recherche médicale. On peut aussi mentionner des limites des études méta-analysées, qui n’ont pas bénéficié de tous les progrès récents de la microéconométrie, ce que j'ai fait ; mais il est réducteur de résumer ma revue de littérature à « on ne peut rien dire car le résultat est trop sensible aux hypothèses. » Supposons que la littérature ne dise effectivement rien d’intéressant. Ce n’est pas le cas sur tous les sujets en économie, comme mon article le montre. Qu’une discipline ne trouve pas de résultat net dans un de ses sous-domaines ne suffit pas à en faire une non-science. Sinon, il faudrait traiter la physique comme une pseudo-science du fait des débats actuels sur la pertinence de la théorie des cordes. La controverse est une composante fondamentale de la science. Il faut bien comprendre que ces techniques sont employées pour contourner les limites des démonstrations empiriques du type de celles de JMJ. Affirmer que toute cette littérature qui intéresse économistes, écologues, ingénieurs et spécialistes des sciences de l'environnement n'a aucun intérêt ne rendrait pas les démonstrations du consultant rigoureuses. Quatrième argument : Cet article est mainstream, et ignore l’approche hétérodoxe de la question Voici une jolie formulation de cette remarque : "Ce que je pourrais reprocher [à l'article d'Un Empiriciste], justement le point de vue exclusivement mainstream (et dont l’objectif est de faire passer un message précis au plus grand nombre), en ignorant que certains courants hétérodoxes sont complètement en ligne avec JMJ." Je pense que cette critique n’est pas fondée pour trois raisons. Premièrement, les études que je cite directement ou indirectement (quand elles sont moulinées dans les méta-analyses) ont été publiées dans des revues comme qu’ energy policy, environmental science and pollution research ou encore The Journal of Cleaner Production. Je ne pense pas que ce soit des revues d’économie orthodoxe. Certaines ne sont même pas des revues d’économie. Dans la liste, on trouve même la revue Ecological Economics dont il me semble qu'elle est hétérodoxe. Je vous remets ici le tableau de Cicea et al. (2021) présent dans l'article original : Deuxièmement, je ne pense pas que l’analyse statistique, l’inférence causale ou encore penser le rôle des anticipations soit le propre des économistes orthodoxes. De manière plus générale, on peut discuter de la pertinence même du clivage entre orthodoxie et hétérodoxie pour caractériser la nature des théories que les chercheurs en économie peuvent tenir pour vraies. Troisièmement, il faut aussi lire les écologues économiques (ecological economists). Ce sont des chercheurs plus hétérodoxes et dont les thèses sont en effet peut-être plus proches de celles de JMJ - encore que cela mérite une toute autre discussion. Certains reconnaissent et déplorent les insuffisances de l’approche par la disponibilité des ressources pour expliquer les variations à court et moyen terme du PIB.

[VIDEO] La preuve que le confinement ne fonctionne pas selon un chercheur au MIT ? (non)

Découvrez la vidéo-résumé : La période des restrictions et des confinements semblait derrière nous: les bars, les restaurants, les cinés ont rouvert. Mais aujourd'hui, la 4ème vague fait rage et la question d'un confinement à la rentrée se pose déjà. C'est un débat difficile : le confinement nous a tous beaucoup marqué, à divers degrés. Mais ce qui nous a fait tenir, et ce qui nous fera peut-être accepter une nouvelle vague de restrictions, c'est la conviction qu'on ne souffre pas pour rien, parce que, le confinement, ça marche. Pourtant, une analyse relayée dans un tweet suggère le contraire. Son auteur n'est pas n'importe qui. C'est un data scientist (spécialiste de la collecte et de l'analyse de données) au MIT. Il a rassemblé des données sur les morts du COVID dans différents Etats américains et la sévérité des mesures mises en place dans chaque Etat. Note : La sévérité des mesures contre le COVID-19 est ici mesurée par un index, une 'note' continue de sévérité des restrictions de 1 à 100, mais pour simplifier les explications, je vais parfois parler de confinement/ non-confinement. Stupeur: le data scientist ne trouve aucune corrélation entre sévérité des mesures de restrictions contre le Covid-19 et morts du COVID-19. Là où des restrictions plus sévères ont été mises en place, il n'y a pas moins de morts du COVID. Il n'y en a pas plus non plus. Il semble n'y avoir aucune relation, comme on le voit sur le graphique ci-dessous que Yougang Gu (le data scientist) a produit. L'auteur affirme que ceci suggère l'inefficacité des mesures de restriction (comme le confinement) sur la propagation du virus. Je ne sais pas dans quelle mesure vous trouvez cette démonstration convaincante, mais, si c'est le cas, ne faites pas cette erreur chez vous ! Vous avez sans doute déjà entendu que corrélation n’est pas causalité. Ce n'est pas parce qu'une variable A change en même temps qu'une variable B qu' A cause B. Pour reprendre l'expression d'un vulgarisateur célèbre, ce n'est pas parce que quand il pleut (A) il y a plus de grenouilles (B), qu'il pleut des grenouilles (A cause B). Mais absence de corrélation n’est pas non plus absence de causalité ! En effet, de ces données, on ne peut déduire que le confinement est inefficace pour deux raisons. Premièrement, le problème est celui de la poule ou de l'oeuf. La causalité va dans les deux sens: le confinement cause (peut-être) une réduction des morts, mais les morts incitent à confiner. On appelle ça un biais de causalité inverse, ou de simultanéité en économétrie. Ici, on est dans un cas particulier du biais de simultanéité où les effets vont vraisemblablement en sens contraire. La sévérité des mesures réduit (peut-être) le nombre de morts, mais le nombre de morts augmente la sévérité des mesures. Si ces deux effets s'annulent un peu près, on peut se retrouver dans une situation où le confinement est efficace, mais où il n'y a pas de corrélation entre sévérité des mesures contre le covid-19 et morts de la maladie- comme sur le graphique qu'on vient de voir. Mais ce n'est pas la seule relation qu'on pourrait observer si le confinement est efficace. Bien sûr, si le confinement est extrêmement efficace, on pourrait trouver qu'il y a moins de morts dans les Etats qui ont mis en place des mesures plus sévères. Mais cela implique de supposer que l'effet "la sévérité des mesures réduit les morts" est plus fort que l'effet "les morts augmentent la sévérité des mesures" ! A l'inverse, si l'effet "les morts augmentent la sévérité des mesures" est plus fort que l'effet "sévérité des mesures réduit les morts" (s'il existe), on peut même se retrouver dans une situation où le confinement est efficace, mais où on trouve une corrélation positive entre sévérité et morts: les Etats qui ont mis en place les mesures les plus sévères sont ceux où il y a le plus de morts du COVID-19. En fait, parce qu'on ne sait pas qui de la poule ou de l'oeuf, absolument tout ce que les données que le data-scientist mobilise pourraient montrer est compatible avec l'hypothèse de l'efficacité du confinement. Et cette première analyse néglige une couche supplémentaire de complexité. Deuxièmement, je me plaçais ici dans un cadre sans variable omise, mais il faut considérer d'autres facteurs qui puissent brouiller la relation qu'on observe entre confinement et morts du COVID. Une variable omise est une variable qui est liée aux deux variables dont on étudie la relation. Comment est-ce qu'une variable omise peut créer une absence de corrélation ? Imaginez que vous montez en vélo une pente de plus en plus raide en pédalant de plus en plus vite pour maintenir votre vitesse. Il n'y aura alors pas de corrélation entre vos efforts et votre vitesse: vos efforts montent, votre vitesse ne change pas. Il y aura toutefois un lien de causalité entre les deux: si vous n'aviez pas fait plus d'efforts pour compenser la pente, vous iriez moins vite. Néanmoins, cet impact n'est pas visible car la pente agit en variable omise. Elle augmente vos efforts, et réduit votre vitesse, et masque donc l'impact de vos efforts sur la vitesse. Dans le cas des confinements, il existe potentiellement de nombreuses variables omises, mesurables ou non. On peut par exemple penser à la compétence politique des dirigeants des Etats. Peut-être que les Etats qui ont dû mettre en place des confinements sont aussi ceux qui géraient mal la pandémie, si bien qu'ils auraient eu plus de morts que ceux qui n'ont pas confiné de toute façon, même sans confinement. Ceci peut créer une relation positive entre morts et sévérité des mesures (des mesures plus sévères là où il y a plus de morts) qui masquerait un éventuel effet négatif des morts sur le confinement (des mesures plus sévères réduisent le nombre de morts). On voit à quel point l'analyse devient très vite très complexe. Tout peut se passer quand on analyse la corrélation entre deux variables hors d'un laboratoire ou d'une expérience. On peut avoir corrélation sans causalité, ou causalité sans corrélation. Personnellement, une règle de décision que j'utilise est : si je regarde la corrélation entre deux variables mesurées en dehors d'un laboratoire/expérience/quasi-expérience, je ne peux rien dire du lien causal qui les unit. Il y a des exceptions, une petite partie de la recherche empirique consiste à les trouver, mais en premier mode de raisonnement, je crois que ça fonctionne très bien. Sur twitter, à l’époque où cet article n’était qu‘un thread, on m'a demandé "De quelle manière peut-on déterminer l'efficacité des mesures restrictives alors ?" Idéalement, il faudrait faire une expérience où on tire au sort les régions confinées et les régions non confinées dans un pays donné. Imaginons alors qu'on observe un écart de mortalité entre les régions. Ce sera la preuve d'un effet du confinement: par le tirage au sort, le fait d'avoir été confiné ou non sera le seul facteur qui distingue les régions confinées des régions non confinées. En pratique, et pour des raisons politiques évidentes, on ne peut faire cela. On utilise alors des méthodes statistiques plus ou moins sophistiquées qui permettent en théorie d'isoler l'effet des politiques - on, c'est ici les épidémiologistes et chercheurs en évaluation des politiques publiques (économie, science politique) qui publient dans des revues de spécialistes. Que disent les études ? Si on se concentre sur l'effet du confinement sur les morts du COVID, cette étude relayée par Didier Raoult a fait parler d'elle, et elle ne trouve pas d'efficacité du confinement. Néanmoins, de nombreuses études trouvent à l'inverse des indices de l'efficacité du confinement, comme celle-ci, celle-ci, ou celle-ci. Ces deux dernières études ont le mérite d'employer la méthode du contrôle synthétique, dont on a de bonnes raisons théoriques (mathématiques) et empiriques de penser qu'elle peut donner des résultats similaires à ceux d'une expérience contrôlée, le cas idéal que je décris dans le paragraphe précédent. Le contrôle synthétique est parfois classé dans la liste des méthodes quasi-expérimentales : ce n'est pas une expérience, mais c'est pas mal quand même. Si ceci pique votre curiosité, je parlerai un peu plus de ce type de méthodes dans le dernier article de la série sur JMJ, et dans un billet dédié. Deux précautions s'imposent toutefois. D'une part, même s'il s'avère que le confinement est efficace, cela ne suffit pas à savoir s'il faut en mettre un en vigueur à la rentrée. Il s'agit d'une autre question bien plus large. Elle dépasse d'ailleurs le cadre de la science qui traite de ce qui est, non ce qui devrait être. D'autre part, il faut bien garder en tête que si j'ai été formé à l'évaluation des politiques publiques, je ne suis pas expert de l'effet des politiques de santé, ni même de santé publique en général. Il faut donc prendre mon analyse de la littérature scientifique avec le recul qu'elle mérite. Je note toutefois qu'une revue de littérature publiée dans un journal à comité de lecture trouve également des indices de l'efficacité du confinement. Dans tous les cas, le coeur de mon article n'est pas de débattre de l'efficacité des mesures de restriction. J'écris surtout sur ce sujet car il s'agit d'un bel exemple du fait que si corrélation n'est pas causalité, absence de corrélation n'est pas non plus absence de causalité. C’est une erreur assez courante: même un ‘prix nobel’ l’a faite.

[VIDEO] Le 'Prix Nobel' qui peut sauver l'éducation nationale et la France ?

Un 'prix Nobel' d'économie semblait avoir trouvé un critère simple pour savoir quelles politiques sociales sont les plus efficaces : il faut investir le plus tôt possible pour changer le plus les vies. Malheureusement, de nouvelles données sont venues chahuter cette théorie. Néanmoins, cette hypothèse est connectée à une découverte centrale et solide de l'économie de l'éducation, et ce résultat offre une piste dont peuvent se saisir les citoyens pour transformer le système scolaire français et réduire les inégalités et le mal-être scolaires qui le caractérisent. Vous n'avez pas le temps de lire l'article ? Découvrez le Focus. Le Focus n'est pas un résumé, mais une courte vidéo qui se centre sur un des messages clefs du billet : L'Ecole française : performances moyennes, inégalités et anxieté scolaire Trois constats émergent quand on collecte des données sur le système scolaire français. Premièrement, notre système éducatif obtient des résultats moyens lorsqu'on le compare aux autres pays développés. Un moyen de le savoir est de se baser sur les données de la dernière enquête internationale PISA sur les performances des systèmes éducatifs menée auprès des jeunes de 15 ans : "La France [est] légèrement au-dessus de la moyenne de l'OCDE (487 points). Elle se classe entre le 20e et le 26e rang en compréhension de l’écrit des pays participant au PISA et entre le 15e et 21e rang des pays de l’OCDE, au même niveau que l'Allemagne, la Belgique, le Portugal, la République tchèque et la Slovénie. Les élèves en France ont également obtenu des résultats légèrement supérieurs à la moyenne de l'OCDE en mathématiques et en science." Ceci, vous l'avez sans doute lu dans les médias. Deuxièmement, notre système éducatif est un des plus inégalitaires des pays développés. Comme les précédentes, la dernière enquête PISA est à nouveau très nette à ce sujet : "La France est l'un des pays de l'OCDE où le lien entre le statut socio-économique et les performances dans PISA est le plus fort. En France, les élèves favorisés dépassent de 107 points les élèves défavorisés en lecture dans le cadre de l'enquête PISA 2018. C'est significativement plus que la différence moyenne de 88 points de score de l'OCDE". A nouveau, je ne vous apprends peut-être rien. En revanche, il est une troisième caractéristique de l'Ecole Française bien moins connue. Troisièmement, les étudiants français semblent plus anxieux et avoir de moindres compétences socio-comportementales qu'ailleurs. Ce graphique de ce rapport du Conseil Analyse Economique l'illustre bien. Les élèves français subissent plus d'anxieté scolaire que la moyenne des pays de l'OCDE (développés). Ils sont moins persévérants que la moyenne. D'ailleurs, les élèves français sont plus nombreux à penser que leurs performances en mathématiques ne dépendent pas d'eux, et que s'ils sont mauvais, ils ne peuvent pas grand chose pour y rémédier. C'est ce qu'on appelle avoir un locus de contrôle interne en mathématique très bas. Ils semblent être moins performants que la moyenne lorsqu'il s'agit de résoudre collectivement des problèmes. Est-ce que cela suffit à conclure que l'école française est une "machine à trier" (1), à brider et à humilier ? En fait, l'Ecole n'est pas le seul déterminant de ces compétences. On ne peut pas a priori faire d'elle la cause de tous les maux de la société française. Néanmoins, une chose est certaine. Depuis plus d'un demi-siècle, des évaluations rigoureuses de politiques éducatives ont été menées un peu partout sur la planète - je définis plus bas ce que j'appelle des évaluations rigoureuses. On sait quelles pratiques pourraient être implémentées pour augmenter les résultats scolaires et les compétences socio-comportementales, les deux étant intimiment liés. C'est justement tout le sujet de mon billet d'aujourd'hui. L'hypothèse d'Heckman : plus tôt vous tendrez une main, plus vous réduirez les inégalités James Heckman n'est pas n'importe qui. Il est le 'prix nobel' d'économie en 2000. Il est reconnu pour ses travaux en économie de l'éducation, du travail, et en économétrie (statistiques appliquées à l'économie) mais pas pour la thèse que je vais vous présenter, car elle est plus controversée. Heckman affirme avoir identifié un critère simple pour savoir si une politique sociale sera efficace pour réduire les inégalités : plus vous intervenez tôt, plus la politique sera efficace. En 2006, dans un article de la très célèbre revue scientifique Science, l'économiste avait illustré ce raisonnement par une jolie courbe comme celle-ci : Il y a(vait) d'excellentes raisons de croire à cette courbe. D'abord, vos résultats scolaires ne dépendent pas seulement de vos capacités cognitives, de votre quotient intellectuel. Les compétences non-cognitives telles que le fait d'être consciencieux, l'ouverture à l'expérience, l'extraversion, l'amabilité, la capacité à s'autoréguler et la stabilité émotionnelle comptent au moins autant. Contre les apparences, il s'agit de facteurs qu'on arrive bien à mesurer. Il faudrait d’ailleurs que j’écrive un article pour expliquer ce que bien mesurer signifie, mais vous trouverez quelques indices dans ce billet de 'debunking' d'une étude de Yanis Roussel et du Dr Raoult. En particulier, un prédicteur très robuste des résultats scolaires est le caractère consciencieux, c'est-à-dire la capacité à contrôler, à réguler et à diriger ses impulsions. Or, nombre de ces compétences non-cognitives sont acquises dans la petite enfance, et les enfants des familles plus populaires en sont en moyenne moins dotées (Exemple en France). Plus encore, les connaissances acquises plus tôt sont le socle de celles acquises plus tard. Difficile d‘écrire une dissertation si on ne sait pas conjuguer un verbe au présent. Difficile de résoudre une équation aux dérivées partielles non-linéaires si on ne sait pas faire des additions. Si vous souhaitez une preuve plus directe de la thèse d'Heckman, des expériences contrôlées randomisées (j'explique plus bas ce que c'est) montrent une très grande efficacité de certaines politiques ciblées sur des jeunes enfants, notamment aux Etats-Unis. Comme dans la théorie, ces expériences ont agi justement en augmentant les compétences non-cognitives des enfants. Et, comme dans la théorie, les politiques ciblées plus tôt ont été plus efficaces. C'est en tout cas ce que tentent de démontrer Heckman et d'autres auteurs dans cet article où ils étudient (notamment) les effets de 12 politiques qui sont présentées dans ce tableau en anglais : Derrière tous ces chiffres, qu'est-ce que ces politiques impliquent concrètement ? Si vous êtes un geek des politiques éducatives (je vous assure qu'il en existe), l'exemple du Perry Preschool Program aux Etats-Unis vous vient sans doute à l'esprit. Le Perry Preschool Program était une politique ciblée sur des jeunes enfants issus de la minorité afro‐américaine (3‐4 ans) avec des QI inférieurs à 85 à 3 ans. Elle a été menée dans les années 1960, ce qui implique qu'on a pu mesurer ses effets à très long-terme. Les enfants ont bénéficié d'un soutien préscolaire de 2h30 chaque matin pendant 2 ans. Le but était d'impliquer l’enfant dans la résolution de problèmes et la prise de décision, leur apprendre à programmer leurs activités et à les réaliser et leur apprendre à collaborer lorsqu’il y a un problème. Le programme impliquait aussi des visites au domicile familial pour promouvoir les interactions parents‐enfants. Si ce programme a eu des effets moindres et peu durables sur les capacités cognitives, il a en revanche augmenté les capacités non cognitives (surtout la motivation et l’autodiscipline) des enfants traités. Résultat : ils ont fait des études plus longues, ont été moins au chômage, ont eu des salaires plus élevés et ont moins souvent été délinquants. Certes, le coût par étudiant était élevé : 2 fois plus cher que le coût d’un enfant à l’école primaire en France. Néanmoins, il faut aussi songer aux bénéfices du programme : au bout de 40 ans, chaque dollar investi en a rapporté 16. Près de la moitié de ces bénéfices provient de moindres coûts de justice : "Ouvrez une école et fermez une prison". Vous pourrez trouver d'autres exemples détaillés de ces politiques dans cette note du CAE, note que j'ai paraphrasée avec peu de vergogne dans les deux paragraphes précédents. Face au succès de ces politiques précoces, de nombreux experts expliquent les faibles performances du système français en terme d'équité par le fait que la France sous-investisse dans le primaire. C'est le cas par exemple d'économistes comme Eric Charbonnier, éternel expert en éducation à l'OCDE qui affime dans une interview que la France doit "investir davantage dans les premiers niveaux d’éducation : préprimaire et primaire. C’est là que les inégalités débutent, que tout se joue et se cristallise pour la suite." Malheureusement, le temps est assasin et emporte avec lui les rires des enfants (Séchan, 1985) et (parfois) les théories formulées trop hâtivement. Avant de discuter de si cette thèse est solide, j'aimerais répondre à deux objections qui ont sans doute déjà traversé l'esprit vif de mes lecteurs. Pourquoi des expériences contrôlées randomisées ? Le paradoxe du Docteur Rush Pour savoir si une politique éducative est efficace, l'expérience directe des professeurs est toujours une meilleure preuve que les spéculations d'intellectuels qui n'ont pas mis les pieds dans une classe depuis trente ans ni obtenu des données représentatives sur le système scolaire d'une manière ou d'une autre. Mais comme d'ailleurs bien des professeurs le savent, elle ne suffit pas ! Il ne suffit pas d'observer des classes avant et après la mise en place d'une politique éducative pour savoir si elle fonctionne, et, ce même si on répète l'exercice des dizaines, des centaines de fois. En effet, si les performances scolaires changent après cette politique, comment savoir si c’est à cause de cette politique et pas d'un autre facteur ? Même à supposer que le professeur n'ait changé son enseignement que d'une seule manière, la société change d'années en années, et les élèves avec. C'est ce que j'ai envie d'appeler le paradoxe du Docteur Rush. Le Dr Rush est un médecin américain de la deuxième moitié du XVIIIème siècle, reconnu pour ses qualités humaines et médicales. Il a passé des décennies au chevet de ses patients. Pourtant, c'est autant de décennies qu'il a passé à défendre la saignée comme remède miracle. Il a fallu des expériences plus rigoureuses pour montrer que celle-ci était inefficace pour les pathologies que le Dr Rush entendait sincèrement soigner. Le fait d'être au contact d'un phénomène ne dispense pas d'employer une méthode rigoureuse pour le comprendre. Cela ne donne pas une compétence magique à distinguer corrélation et causalité. Symétriquement, le fait qu'on demande à une personne d'évaluer rigoureusement l'efficacité de ses pratiques ne signifie pas qu'on ne croit pas en ses compétences. Si on demande aux médecins de faire des essais cliniques des traitements qu'ils proposent, ce n'est pas parce qu'on croit qu'ils sont incompétents. Mais alors, de quelles méthodes rigoureuses parle-t-on ? Comment savoir quelles politiques améliorent bien les performances scolaires ? Le meilleur moyen est de mener un essai contrôlé randomisé. Il s'agit d'une expérience où on tire au sort les élèves qui bénéficieront d'une politique et ceux qui en seront exemptés dans un premier temps. Imaginons alors qu'on observe un écart de résultat scolaire entre les deux groupes. Ce sera la preuve d'un effet de la politique : par le tirage au sort, le fait d'avoir bénéficié de l'intervention ou non sera le seul facteur qui distingue les élèves qui ont bénéficé de l'intervention ou non. Faute de pouvoir mener ce type d'expériences contrôlées, il existe aussi des méthodes quasi-expérimentales dont je parle ici. Bien sûr, tout n'est pas chiffres. La recherche qualitative en éducation est aussi essentielle. Elle permet d'ébaucher des hypothèses plausibles, car nées de la confrontation directe avec le terrain. Elle permet d'acquérir des informations très riches, de saisir des phénomènes trop nouveaux et subtils pour qu'on puisse les quantifier. Simplement, si on se pose la question un peu étroite de savoir si une politique donnée a bien causé une augmentation des résultats d'une population dans des compétences données, la méthode expérimentale (expérience ou quasi-expérience) est la meilleure. Pourquoi insister sur la rentabilité des politiques, le ratio coût/bénéfice ? Est-ce là un délire bureaucratico-comptable ? C'est tout le contraire. "Quand on ne compte plus, c'est la peine des hommes qu'on ne compte pas"(2). On peut entendre "bénéfice" à atteindre au sens plus large "d'objectif à atteindre". Or, quelque soit le bénéfice que vous attendez d'une politique, quelque soit le montant que vosu souhaitez que l'Etat dépense, vous avez intérêt à soutenir les politiques les plus rentables. Imaginons que vous souhaitiez réduire la part d'enfants avec des difficultés en lecture. Si vous désirez augmenter le budget de l'éducation, les politiques avec un coût par enfant sorti des difficultés de lecture plus bas permettront à un plus grand nombre d'enfants d'échapper à ce problème qui les handicapera toute leur vie. Si vous désirez sortir un nombre donné d’enfants des difficultés de lecture en dépensant le moins possible, choisir des politiques les plus rentables permettra de le faire à moindre coût, et donc de dégager des ressources que l'Etat pourra investir ailleurs dans des domaines qui vous tiennent plus à coeur. On peut aussi penser au bénefice en termes ... monétaires. Pour un euro de dépensé dans un programme éducatif, combien d'euros rapporte-t-il ? En effet, lorsqu'une personne a plus de chance de travailler, touche un meilleur salaire, ou à moins de chance d'aller en prison, il rapporte plus à l'Etat -il paie plus d'impôts- et lui coûté moins - en transferts sociaux comme le RSA, ou en frais d'incarcération. On peut encore élargir le calcul. On peut aussi tenter d'inclure dans ce calcul des bénéfices importants mais qui ne traduisent pas immédiatement en argent sonnante et trébuchante pour l'Etat comme celui de vivre plus longtemps en meilleure santé. On peut aussi réduire la valeur des bénéfices à long-terme pour matérialiser le fait qu'on peut préférer les bénéfices à court-terme - un tien vaut mieux que deux tu l'auras. Mesurer les bénéfices de politiques en euro est très courant car cela a deux avantages. D'une part, cela offre une mesure standardisée, une unité commune qui permet de comparer les effets de plusieurs programmes qui agissent sur des critères différents (exemple: un programme d'aide aux jeunes en difficulté et un programme d'extension de l'assurance-santé à des ménages plus pauvres). D'autre part, les débats politiques se concentrent souvent sur le coût d'une politique. Néanmoins, pour savoir dans quelle mesure une politique va grèver les comptes publics, ce qui compte vraiment est la différence entre ce qu'elle rapporte et ce qu'elle coûte. Quoiqu'il en soit, vous n'avez pas besoin d'adhérer à cette approche par la monnaie pour considérer que les études que je cite dans ce billet sont intéressantes. L'écrasante majorité des études des économistes de l'éducation indique aussi des effets sur des indicateurs plus consensuels comme le taux d'emploi, le salaires, le taux de criminalité... Un échec empirique de la théorie d'Heckman ? Ces précisions étant faites, je peux revenir au coeur de l'article : est-ce que les politiques ciblées plus tôt sont plus efficaces comme Heckman semble l'affirmer ? Malheureusement, on peut se demander si le parpaing des données ne s'est pas écrasé sur l'alléchante tartelette aux framboises de la théorie d'Heckman. Quid de l'étude d'Heckman et autres auteurs dont je parlais plus haut et qui semblait confirmer son hypothèse ? Peut-être que les 12 études analysées dans ce papier ont été trop soigneusement choisies. David Rea et Tony Burton, deux chercheurs se sont inquiétés de ce que "[le résultat d'Heckman soit] fortement influencé par l'inclusion du Perry Preschool program et du projet Abecedarian [un autre programme américain aux effets spectaculaires]. Ces études sont quelque peu controversées (...) De nombreux chercheurs affirment que le programme Perry Preschool et le projet Abecedarian ne fournissent pas un guide fiable sur les impacts probables de l'éducation de la petite enfance dans un contexte moderne." (Source). En effet, dans leur article, ils montrent que lorsqu'on collecte des données sur la rentabilité d'un plus grand nombre de politiques sociales (248) qui ciblaient des individus d'âge différent, la relation prédite par Heckman disparaît : Les détails du calcul du ratio coûts/bénéfices sont consultables ici. Je laisse les auteurs commenter leur propre graphique : " l'âge n'est pas un raccourci pour identifier où les gouvernements devraient, ou ne devraient pas, investir. (...) Un certain nombre de programmes d'intervention précoce se sont avérés rentables, tout comme une série de programmes de "rattrapage" ou de "seconde chance" destinés aux personnes plus âgées. Une bonne politique publique exige une évaluation au cas par cas des preuves et une analyse coûts-avantages pour chaque intervention envisagée ". Heckman a répondu très sèchement à cette étude. D'une part, il critique le choix des études des deux auteurs. Il les accuse de ne pas avoir tenu en compte d'autres facteurs que l'âge cible (comme la qualité des études) qui pourraient expliquer pourquoi certaines politiques ciblées sur les adultes affichent des résultats spectaculaires. D'autre part, il affirme que les auteurs n'ont pas compris ce que signifiait sa courbe : "[Ma courbe] ne veut pas dire que les ratios avantages-coûts (...) sont nécessairement plus élevés pour toutes les interventions auprès des jeunes. . . . La Courbe est une frontière technologique entre les programmes (meilleure pratique) et non une moyenne entre tous les programmes, qui peuvent être mal exécutés . . . Les décideurs ont besoin de conseils sur les meilleures pratiques, et non sur les pratiques moyennes." Comme on l'a noté avant moi, ce deuxième argument est peu convaincant. D'une part, le graphique au début de mon article indique littéralement en anglais une phrase qui pourrait se traduire par "le plus tôt on investit, le plus haut sera le rendement". Il est issu du propre site de James Heckman. D'autre part, je laisse Andrew Gelman, sniper des sciences sociales et professeur aux départements de statistiques et de science politique à Columbia terminer mon paragraphe : "J'ai deux problèmes avec l'affirmation suivante : "Les décideurs politiques ont besoin de conseils sur les meilleures pratiques, et non sur les pratiques moyennes". Premièrement, nous ne savons pas vraiment ce qu'est la meilleure pratique. Ces interventions dont Heckman est si sûr qu'elles sont les meilleures pratiques, ne le sont peut-être pas. Deuxièmement, même si ces interventions étaient des meilleures pratiques, pour être mises à l'échelle, elles devraient être appliquées dans le monde réel, c'est-à-dire dans la pratique moyenne. Il serait naïf de penser que les interventions particulières qui ont été testées dans le cadre d'une expérience il y a de nombreuses années peuvent être appliquées directement dans de nouveaux contextes." Quelque soit votre avis sur ce que signifie la courbe d'Heckman, une conclusion est nette et consensuelle : il n'y a pas de loi d'airain qui ferait de chaque année une de trop pour intervenir. Par exemple, il n'y a pas lieu de penser qu'une politique bénéficiant à des élèves de 9 ans va être moins efficace qu'une politique ciblant des enfants de 7 ans, simplement parce que la première politique est moins précoce que la deuxième. Les mains tendues tôt, c'est important quand même Est-ce que ça signifie que les conseils des experts des politiques éducatives comme Heckman ou Charbonnier qui insistent sur les politiques ciblées sur le pré-primaire et le primaire... ne reposent sur rien de solide ? Je ne le pense pas. D'abord, on a bien des preuves que certaines politiques d'intervention précoces sont efficaces. Cette méta-analyse d'études de haute qualité sur les politiques éducatives ciblées sur les moins de 8 ans montre que celles-ci ont des effets substantiels sur les performances scolaires jusqu'au lycée. Une méta-analyse est une étude qui agrège les résultats d'autres études, et (en général) les mouline pour extraire un résultat moyen. On voit par exemple sur ce graphique l'effet de ces politiques sur la réduction du rédoublement. Deux chercheurs à Harvard (Hendren et al. (2020) ) arrivent à la même conclusion en analysant 133 politiques non seulement éducatives mais aussi sociales (ex: accès à une assurance-santé pour les plus pauvres) menées aux Etats-Unis depuis la deuxième moitié du XXème siècle : "Nos résultats suggèrent que les investissements directs dans la santé et l'éducation des enfants à faible revenu ont historiquement eu [les ratios bénéfices/coûts] les plus élevés (...) Nombre de ces politiques ont été rentabilisées, les gouvernements ont récupéré le coût de leurs dépenses initiales par le biais d'impôts supplémentaires perçus et d'une réduction des transferts.". Contre l'idée que le plus tôt est toujours le plus efficace, les auteurs qu'ils ont "constaté [des ratios bénéfices/coûts] importants pour les politiques d'éducation et de santé chez les enfants de tous âges" (3) et trouvent quelques exemples de politiques ciblées sur les adultes particulièrement rentables. Conclusion Certaines politiques sociales ciblées sur les enfants ont été remarquablement efficaces et rentables. Il semble même qu'en moyenne, ces politiques précoces sont même plus efficaces et rentables que celles ciblées sur les adultes, parce qu'elles agissent sur des compétences non-cognitives acquises tôt, mais : 1. Cette efficacité se vérifie à tout âge de l'enfance. Il n'y a pas d'effet mécanique, qui ferait de chaque nouvelle année de vie une de trop pour intervenir. Par exemple, il n'y a pas lieu de penser qu'une politique bénéficiant à des élèves de 9 ans va être moins efficace qu'une politique ciblant des enfants de 7 ans, simplement parce que la première politique est moins précoce que la deuxième. 2. Cet effet n'est que moyen. Certaines politiques ciblées sur les adultes fonctionnent bien. On pourrait penser que ces faits n'appellent qu'une seule conclusion politique : il faut implémenter des programmes éducatifs ciblés sur les jeunes en France pour augmenter leurs compétences non-cognitives. Je pense par exemple à des programmes comme celui d’ Energie Jeunes qui a déjà été rigoureusement évalué dans notre pays sur des collégiens de plusieurs académies entre 2014 et 2016. Concu pour améliorer la persévérance, l’autodiscipline et la motivation scolaire des élèves de collèges défavorisés, il constitait en trois interventions en classe de 55 minutes, chaque année de la 6ème à la 3ème. Il a amélioré de manière substantielle les performances scolaires des collégiens qui en ont bénéficié, avec un coût ridicule : 9 euros par an et par élève. Néanmoins, j'aimerais dissiper un peu de votre enthousiasme (ou votre agacement). Je vais conclure cet article sur une précaution. C'est celle qu'on trouve à la fin de presque tous mes billets. Mon article traite des effets des politiques ciblées sur les jeunes. Il ne dit pas s'il faut effectivement mettre en place ces politiques. Il s'agit de deux questions différentes pour deux raisons. D'une part, tout dépend du critère qu'on choisit. Veut-on vraiment concentrer les dépenses sur l'éducation ou la santé, domaines de prédilection des politiques sociales ? Certains préfereraient faire de l'environnement (ou de la sécurité) la priorité. On pourrait aussi imaginer qu'à un instant donné, on valorise plus le bien-être des individus plus âgés que celui des plus jeunes. Même en s'étant entendu sur un budget de l'éducation, veut-on augmenter le niveau scolaire moyen ? Augmenter le niveau des moins bons ? Tenter de réduire les inégalités entre meilleurs et moins bons élèves ? Certains considèrent en effet que corriger les faiblesses des élèves aux résultats les plus faibles ou moyens n'est pas la priorité, à l'image de ce thread sur twitter où l'on se désole de ce qu'on incite les professeurs à "ne pas faire ce qui fonctionne pour les meilleurs, mais faire pour les moyens et ceux en difficulté. On s'occupe des meilleurs à la marge, quand il nous reste du temps après s'être occupé des 20 autres élèves sur 35". Je ne crois pas en la technocratie. Savoir comment l'Etat doit dépenser l'argent des contribuables (et qu'il emprunte) est l'objet du débat politique, et non scientifique. D'autre part, à critère égal, l'investissement précoce n'est bien sûr pas le seul levier éducatif possible. Les recommendations d’expert insistent en général sur d'autres facteurs comme la rémunération et la formation des enseignants, changer les critères de notation, ... Ce sera le sujet d'un autre article ! *** (1) Je vous conseille d'ailleurs ce formidable livre éponyme sur le sujet. (2) Cette citation n'est pas de moi mais je ne parviens pas à retrouver son auteur. Soljenitsyne, peut-être ? (3) Hendren et al. (2020) ne s'intéressent pas exactement au ratio coût/bénéfice mais à une mesure un peu différente, et peut-être un peu plus contestable : la valeur marginale des fonds publics, sorte de ratio entre le bénéfice privé et le bénéfice public d'une politique. Vous pouvez en savoir plus dans l'article en question.