Mass Reproducibility and Replicability: A New Hope

Résumé

Cette étude approfondit notre compréhension de la fiabilité de la recherche en reproduisant les affirmations de 110 articles publiés dans des revues de sciences économiques et politiques de premier plan. L’analyse implique des contrôles de reproductibilité informatique et des évaluations de robustesse. Il révèle plusieurs modèles. Premièrement, nous découvrons un taux élevé de résultats entièrement reproductibles par ordinateur (plus de 85 %). Deuxièmement, en excluant les problèmes mineurs tels que des librairies manquantes ou des chemins invalides, nous découvrons des erreurs de codage dans environ 25 % des études, certaines études contenant plusieurs erreurs. Troisièmement, nous testons la robustesse des résultats sur 5,511 réanalyses. On retrouve une reproductibilité de robustesse d’environ 70%. Les taux de reproductibilité de la robustesse sont relativement plus élevés pour les réanalyses qui introduisent de nouvelles données et plus faibles pour les réanalyses qui modifient l’échantillon ou la définition de la variable dépendante. Quatrièmement, 52 % des estimations de l’ampleur de l’effet des réanalyses sont inférieures aux estimations originales publiées et la signification statistique moyenne d’une réanalyse est de 77 % de l’originale. Enfin, nous nous appuyons sur six équipes de chercheurs travaillant de manière indépendante pour répondre à huit questions de recherche supplémentaires sur les déterminants de la reproductibilité de la robustesse. La plupart des équipes trouvent une relation négative entre l’expérience des réplicateurs et la reproductibilité, tout en ne trouvant aucune relation entre la reproductibilité et l’accessibilité de données intermédiaires, voire brutes, combinées aux codes de nettoyage nécessaires.

Rémi Thériault

Étudiant au doctorat (Psychologie sociale)

Mes intérêts de recherche incluent la cognition sociale/implicite, l’altruisme, et les rêves.