Reproducibility and robustness of economics and political science research

Résumé

La science aspire à être cumulative. Les initiatives visant à assurer la reproductibilité renforcent la science en mettant à l’épreuve la fiabilité des résultats publiés, en favorisant l’autocorrection et en éclairant l’élaboration des politiques publiques. Les reproductions computationnelles — par lesquelles des chercheurs indépendants reproduisent les résultats d’études publiées — constituent un outil de diagnostic essentiel. De telles initiatives devraient bénéficier d’une plus grande visibilité. Toutefois, peu de travaux de reproduction et d’analyse de robustesse ont été menés à grande échelle dans le domaine des sciences sociales. Dans le cadre de cette étude, nous avons reproduit les analyses originales et effectué des tests de robustesse sur 110 articles publiés dans des revues de premier plan en économie et en science politique, lesquelles imposent le partage obligatoire des données et du code informatique. Nous avons constaté que plus de 85 % des affirmations publiées étaient reproductibles sur le plan computationnel. Lors des tests de robustesse, nos réanalyses ont révélé que 72 % des estimations statistiquement significatives demeuraient significatives et conservaient la même orientation; par ailleurs, la taille d’effet médiane reproduite s’est avérée quasi identique à la taille d’effet initialement publiée (représentant, plus précisément, 99 % de cette dernière). En outre, six équipes de recherche indépendantes ont examiné 12 hypothèses préétablies concernant les déterminants de la robustesse. Les équipes de recherche les plus expérimentées ont observé des niveaux de robustesse inférieurs, et aucune corrélation n’a été établie entre la robustesse d’une part, et les caractéristiques des auteurs ou la disponibilité des données d’autre part.

Rémi Thériault

Chercheur postdoctoral (Psychologie sociale)

Mes intérêts de recherche comprennent les identités sociales, la cognition implicite et la prosocialité.