Connaissez-vous le point commun entre le choléra, la théorie du ruissellement, la taxe carbone, les politiques pour permettre des économies d’énergie ou l'interdiction des signes religieux ostentatoires ? Tous ces sujets peuvent être étudiés à l'aide de quasi-expériences. A l'heure du péril écologique, ces méthodes constituent un outil très puissant pour trouver les moyens les moins douloureux de réduire les émissions de CO2.
Comprendre ce qu'est une quasi-expérience ne fera pas repousser vos cheveux si vous avez de la calvitie. Cela ne résoudra pas vos problèmes de sommeil ou de libido. Je pense pourtant que cet article vaut quelques minutes de votre temps, et ce, pour quatre raisons :
1. Les quasi-expériences sont un outil puissant pour sauver la planète (enfin, l'humanité) : elles permettent de connaître l’effet des politiques environnementales. Cet article est l'occasion de reparler d'environnement (et d'énergie !), et il est important pour comprendre la future interview qui paraitra bientôt sur ce blog d'un spécialiste de la politique basée sur les preuves appliquée à l'environnement.
2. Plus généralement, cette méthode est très utile pour savoir l'*effet* de toute politiques publique, ce qui est intéressant pour tout citoyen comme vous et moi. D'ailleurs, cet article parle aussi de la théorie du ruissellement, et de l'impact de l'interdiction des signes religieux ostentatoires.
3. Il y a cette croyance chez certains sceptiques (défenseurs des sciences) qu'on ne peut prouver une causalité que lors d'une expérience aléatoire. La réalité est plus nuancée.
4. On va parler de voyage interdimensionnel.
Un exemple d'une approche quasi-expérimentale de l'effet de la taxe carbone
Si je vous dis « politiques pour lutter contre le réchauffement climatique », la taxe carbone vous viendra sans doute vite à l’esprit. Jean-Marc Jancovici défend avec beaucoup d’éloquence la mesure et une majorité d'économistes sont d'accord avec lui sur ce point. D'un point de vue théorique, la taxe carbone a bien des avantages dont je parlerai dans un autre article.
Mais empiriquement, connaître les effets de la taxation carbone est plus compliqué qu'on pourrait le penser. Imaginons pour l'exemple qu'en France, en janvier 2024, une taxation carbone massive entre en vigueur. Si les émissions continuent à augmenter après que cette loi prenne effet, comment savoir si la taxe a été efficace ? Peut-être que les émissions auraient été encore plus hautes sans la taxe. Il ne s'agit pas d'une interrogation purement théorique. La croissance économique étant aujourd'hui riche en CO2, il est tout à fait possible que les émissions continuent à augmenter, même si ce serait un rythme moins soutenu que sans la taxe. Et dans une économie en récession, les émissions pourraient baisser à cause de la récession et non de la taxe.
Ce type de question se pose quant à l'efficacité de toute politique environnementale. Sans évaluation rigoureuse, le risque est alors d'avancer à l'aveugle, en espérant finir par trouver un peu au hasard un cocktail de politiques assez efficaces pour réduire finalement le volume total des émissions. On perdrait alors du temps et la possibilité de savoir s’il aurait pu exister des moyens moins douloureux d’obtenir la même réduction du volume d’émissions.
Pour le dire en termes plus formels, pour savoir l'effet de la taxe carbone sur les émissions dans un pays, il ne suffit pas de comparer le niveau des émissions après la réforme au niveau des émissions avant la réforme. Il faudrait idéalement comparer l'ampleur des émissions dans ce pays après la réforme au contrefactuel, c'est-à-dire au niveau des émissions dans ce même pays dans un monde parallèle où la réforme n'aurait pas été mise en place. Ce n'est possible qu'à l'aide d'une machine à voyager dans des univers parallèles. Problème: le développement de cette technologie est encore à un stade... embryonnaire. Rassurons-nous. Il existe des méthodes possibles pour approximer ce contrefactuel.
En théorie, on pourrait faire une expérience où on tire au sort les entreprises qui auront à payer une taxe carbone, et les entreprises qui en seront exemptés dans un premier temps. Imaginons alors qu'on observe un écart d'émissions entre les deux groupes. Ce sera la preuve d'un effet de la taxation carbone: par le tirage au sort, le fait d'avoir été soumis à la taxe carbone ou non sera le seul facteur qui distingue les entreprises soumises à la taxe des entreprises qui en sont exemptées. En pratique, la mesure serait impossible à justifier politiquement.
Néanmoins, il existe une solution de secours, certes un peu moins fiable, mais qui permet d’obtenir des indices précieux. Comme je l'expliquais dans mon article sur l'efficacité du confinement, lorsqu'on ne peut pas faire d'expériences, on peut adopter une approche dite quasi-expérimentale. La diffusion de ces méthodes en science économique est une facette de ce qu’on appelle parfois la révolution de crédibilité. Plus fiables, ces méthodes sont devenues populaires en économie et dans d'autres disciplines comme en sociologie, en science-politique à l’américaine ou même en médecine (voir cet autre exemple).
Dans notre exemple fictif, une méthode quasi-expérimentale possible serait le différence-en-différence (DiD). Ce n'est pas la méthode reine des approches quasi-expérimentales, mais elle est flexible et facile à implémenter. Le DiD est né en santé publique, Snow l'a utilisé en 1856 pour montrer que le choléra se diffusait par l'eau sale. Cette technique a connu une nouvelle popularité dans les années 1990. Etudiant les effets du salaire minimum sur l'emploi, les économistes David Card et Alan B. Krueger (1994) ont utilisé cette méthode mais en la modernisant. Cette modernisation était nécessaire pour pouvoir savoir si les résultats du DiD sont significatifs statistiquement, et appliquer la méthode à de larges bases de données de panel, c'est-à-dire qui suivent plusieurs individus, entreprises, ou pays au cours du temps.
Mais il n'est pas nécessaire de comprendre le détail de ces sophistications pour saisir l'esprit de la méthode. Le voici : pour reprendre notre exemple, on peut supposer qu'un pays dont les émissions auraient évolué au même rythme que la France quelques années avant la mise en place de la taxe carbone permettait d'approcher le contrefactuel de la France. Ce serait notre pays contrôle, comme un groupe contrôle.
On pourrait alors estimer l'effet de notre taxe carbone en supposant que sans cette réforme, les émissions auraient continué à croître au même rythme que dans le groupe contrôle, comme avant la réforme.
Si les émissions se mettent à augmenter plus vite dans le groupe contrôle qu’en France à partir de janvier 2024 comme dans la vidéo précédente, ce sera un indice que la réforme aura réduit les émissions en France. C'est là toute l'intuition de la méthode du DiD.
Une hypothèse clef est celle des tendances parallèles : en l'absence de la taxe carbone, la France aurait suivi une trajectoire comparable en terme d'émissions à celle du pays contrôle. On peut vérifier que les tendances en termes d'émissions étaient comparables avant la mise en place de la politique. C'est même absolument nécessaire. Néanmoins, on ne peut pas vérifier que ce parallélisme se serait poursuivi après la mise en place de la taxe : faute de machine à voyager entre les mondes, on ne peut pas observer le niveau des émissions en 2024 dans une France qui n'aurait pas mis en place cette taxe carbone.
Néanmoins, si aucune autre loi n'est entrée en vigueur en même temps que celle instaurant la taxation, cette hypothèse paraît raisonnable. Il serait surprenant que les trajectoires d'émission des deux pays se mettent à diverger pour une autre raison que la réforme... exactement au moment de la réforme, surtout s'il n'y a pas d'autre politique avec des effets comparables implémentée au même moment. Ce serait un sacré hasard ! C'est possible, mais improbable. Dans notre exemple, il faudrait imaginer que les entreprises se seraient mises à polluer significativement moins que les entreprises du pays contrôle précisément à partir de janvier 2024, date de l'entrée en vigueur de la politique, et non en décembre ou en novembre, et ce, pour une raison qui n'aurait rien avoir avec la politique de taxation carbone.
Bien sûr, les comportements et les mentalités peuvent se mettre à diverger entre pays qui connaissaient des tendances similaires pour une raison que le chercheur ne sait pas saisir et mesurer. Cependant, il faut insister sur la discontinuité. Si un tel changement de 'culture' se produit, il serait sans doute incrémental. Il serait surprenant qu'il soit exactement synchronisé à l'implémentation de la politique, et qu'on n'en détecte pas de traces juste avant qu'elle prenne effet. Pour paraphraser Charles Darwin, on pourrait dire que "le [social] n'aime pas les discontinuités".
Une difficulté toutefois avec cette approche est la possibilité d'effets d'anticipation: les agents peuvent changer leurs comportements en anticipation de la politique. Une solution ici serait d'estimer l'effet à partir de l'annonce de la mise en place de la taxe plutôt que de sa mise en vigueur.
On notera aussi que toute notre stratégie repose sur l'existence d'un pays dont les émissions ont évolué au même rythme que celle de la France. Mais que faire si on n'en trouve pas ? Il existe de nombreuses solutions, l'une d'elle est celle du contrôle synthétique.
Que faire en l’absence de tendances parallèles ?
La méthode du contrôle synthétique
Dans une contribution particulièrement intéressante, Andersson (2019) utilise la méthode du contrôle synthétique pour évaluer les effets de la mise en place d’une taxe carbone en Suède. Elle montre que les effets de la mesure ont été notables. La taxe carbone suédoise a réduit les émissions du pays, sans vraisemblablement réduire le PIB par habitant. Ce résultat est cohérent avec les précédentes études qui montrent aussi que les taxes carbones réduisent les émissions, quoique souvent dans une moindre mesure que dans cette étude - je discute de pourquoi en (1).
Pour savoir que les émissions ont bien baissé à cause de la taxe carbone, l’économiste utilise justement la méthode du contrôle synthétique. Cette méthode a été introduite en économie/science-politique américaine, puis elle s’est diffusée dans d’autres disciplines comme la santé publique et l’épidémiologie. Ici, il s’agit de comparer les émissions en Suède à celles d’un groupe contrôle créé par le chercheur et dont la tendance était la même en termes d’émissions de CO2 que la Suède avant l’introduction de la taxe. Comme dans le différence-en-différence, si les tendances de la Suède et de ce groupe de contrôle cessent de coïncider juste après la taxe, c’est un vrai indice de l’effet de la taxe.
Comment crée-t-on ce groupe de contrôle synthétique ? Ici, la méthode du contrôle synthétique permet de combiner les tendances des pays européens qui n'ont pas mis en place de taxes similaires pour créer un groupe de contrôle valide. Pour comprendre comment, il faut bien avoir en tête ce qu'est une moyenne pondérée. Si vous vous figurez mal ce que c'est, rassurez-vous : vous en avez déjà croisé. A l'école, votre moyenne scolaire était (est) une moyenne pondérée. En effet, on pourrait aussi appeler les coefficients assignés à chaque matière des poids. Peut-être vous êtes vous déjà venu à l'esprit qu’avec assez de notes dans assez de matières, on peut obtenir n'importe quelle moyenne pourvu qu'on ajuste habilement les coefficients. Remplacez les notes dans différentes matières par les émissions dans différents pays et vous obtiendrez la méthode d'Andersson.
Le chercheur compare l’évolution des émissions de CO2 à une moyenne pondérée des émissions des pays de l’OCDE (développés), moyenne dont les poids ont été ajustés pour coller à la série des émissions suédoises avant l’introduction de la taxe. Sur ce graphique issu de l'article, on voit le groupe contrôle synthétique en pointillé et les émissions effectives de la Suède en trait plein :
Après 1990, date de la mise en place de la taxe, on voit nettement que les émissions de la Suède continuent à augmenter, mais bien moins vite que celles du groupe contrôle. Malgré l'échantillon plutôt réduit qui empêche de détecter des petits effets, cette différence entre la Suède et la Suède synthétique est statistiquement significative.
Il existe plusieurs façons d'augmenter encore la fiabilité de ce résultat. Un problème possible naît de ce qu'on appelle l'overfitting. Dans la langue de Molière et de Kaaris, qui nous rappelle que "Les hommes mentent mais pas les chiffres", on parle aussi de sur-apprentissage. Il est possible que les tendances divergent mécaniquement, simplement parce que les poids ont été ajustés sur une période antérieure à la mise en vigueur de la politique.
Néanmoins, on peut employer ce qu'on appelle des tests placebo pour addresser ce biais. Par exemple, on peut ajuster les poids sur une période qui se finit bien avant la mise en place de la politique. Ceci revient à supposer que la taxe a été instaurée à une date bien inférieure à sa vraie date. Alors que la taxe carbone suédoise a été implémentée en 1990, Andersson la fixe artificiellement à 1980, et 1970 et constate que les tendances ne divergent pas avant que la taxe ait été mise en place.
Et ceci n’est qu'un test dans la batterie de ceux que l’auteur mène pour vérifier la robustesse de leur résultat.
Le contrôle synthétique n'est toutefois pas la seule manière de trouver des tendances comparables.
Théorie du ruissellement, économies d'énergie, et port du voile : les techniques de matching et autres modernités
Si plusieurs pays finissent par mettre en place une taxe carbone, on peut aussi combiner le DiD avec des techniques de matching. Elles consistent à utiliser des algorithmes qui fouillent des grandes bases de données pour trouver un pays (ou un ménage, une entreprise) qui a une tendance similaire avant l'introduction de la politique.
C'est la solution qu'emploie cette étude très médiatisée sur la 'théorie du ruissellement', l'impact des politiques de baisse de la fiscalité sur les plus riches sur les inégalités et l'activité économique. Ici, la méthode des chercheurs pour trouver un contrefactuel pour chaque baisse de taxe revient (très schématiquement) à dire leur logiciel statistique : "pour chaque baisse de taxe dans un pays donné, fouille la base de données, et débrouille-toi pour me trouver un pays (ou un groupe de pays) qui avait une tendance similaire en termes de politiques fiscales et de l'évolution de certaines variables (PIB par tête, ouverture commerciale, vote pour les partis de gauche)". Cette étude suggère que les baisses de taxe sur les riches augmentent les inégalités, mais ne semblent pas causer une hausse de la croissance, ou une baisse du chômage. Néanmoins, il existe encore des débats très riches en économie et statistique sur la bonne méthode lorsqu'on s'intéresse non plus à l'effet d'une politique sur un seul pays mais à l'effet d’une même politique implémentée à des moments différents dans plusieurs pays.
Une autre méthode consiste à utiliser certains progrès des techniques de prédiction en data science. Par exemple, Christensen et al (2021) s'intéressent à un problème épineux : alors que la transition écologique nécessite des économies d’énergie, ceux permis par des politiques ciblées sur cet objectif sont systématiquement surestimés. En employant une de ces nouvelles méthodes, les chercheurs montrent que ces échecs de prédiction s'expliquent principalement non pas par un effet rebond (je paie moins cher donc je consomme plus), mais par l'hétérogénéité de la qualité des travaux de rénovation (par exemple, certains artisans sont moins efficaces que d'autres) et par des biais systématiques dans les modèles d'ingénierie qui tentent de prédire les économies d'énergie.
Il faut prendre ces derniers résultats avec plus de distance. (Quasi-)expérience ou non, une étude suffit rarement. Mon billet est centré sur l'étude d'Andersson car ses résultats sont cohérents avec le reste de la littérature. Néanmoins, les résultats fournis par des approches quasi-expérimentales donnent parfois des résultats contradictoires. Je pense par exemple aux évaluations de l'interdiction des signes religieux ostentatoires menée dans les années 1990 et 2000 en France. Il semble qu'il va falloir plus de temps et d'études pour bien comprendre l'impact de ce type de politiques sur les jeunes musulmanes.
(1) Ici, un problème possible serait que la Suède a mis en place une réforme des transports non pas exactement en même temps, mais quelques années avant, en 1989 - voir cet article de recherche et cette discussion sur twitter. Néanmoins, ce papier appliquant la même méthode pour étudier la taxe carbone Finlandaise trouve un effet similaire à celui mesuré en Suède. Or, à ma connaissance, la Finlande n'a pas mis en place d'autres politiques en même temps que sa taxe. Mais je dois continuer mes recherches ! J'ai écrit à Andersson, l'auteur du papier sur la Suède pour en discuter, et je mettrais ce billet de blog à jour.
Si on veut donc faire une interprétation parfaitement prudente du papier, on peut donc dire qu'il prouve un effet d'une taxe carbone combinée à une réforme des transports.