Adresser la crise de réplicabilité : La science ouverte et au-delà
PSY7104 : Méthodes d’observation directe et indirecte
Rémi Thériault
2022-10-13 13:15:31
Crise de réplicabilité
(Source: https://slatestarcodex.com/2014/04/28/the-control-group-is-out-of-control/)
Question 1
Manque d’intégrité en recherche dans nos milieux?
« Dénoncer » les mauvaises pratiques ou pas?
La science ouverte
(Source: https://i0.wp.com/vusci.blog/wp-content/uploads/2020/04/rtea-3-2-e1587204530638.jpg)
(Source: https://citizenscience.org.au/wp-content/uploads/2020/05/Open-Science.jpg)
Mise des données, matériels, code en ligne
The obvious antidote [to the lack of replication] is openly shared data, materials, and code used to analyze the data. Some journals have begun to require this type of sharing as a condition of publication. More commonly, journals have offered a simple acknowledgment of open data, materials, and code using the badge system described earlier.1
(Source: https://osf.io/2jt9u/)
Nosek and Lakens (2014) likewise proposed a major change to peer review in their call for journals to adopt registered reports.1
« Tag » confirmatoire vs. exploratoire
Études non-préenregistrées : confirmatoire ou exploratoire? Ambigu! Et préenregistrement optionnel!
This, they argue, would remove the possibility of misrepresenting their research through omission and put them in a position to have to actively deceive in order to misrepresent, a threshold they argue fewer researchers would be willing to cross.1
« Big Teams Science »
L’importance de changements structurels
- Incorporer ces pratiques et ce discours formellement dans nos politiques universitaires
- Merci Liesette!
- Valoriser les bonnes pratiques et la science ouverte!
- au-delà de e.g., nombre de publications, facteur d’impact, prestige des revues
- par exemple lors du processus d’embauche des nouveaux profs
Des problèmes plus profonds…
Confusion entre formation et production
- Techniquement, les chercheurs (profs) sont les producteurs de la science
- Les étudiants (doctorants) sont là pour apprendre comment produire de la bonne science
- Mais la dynamique actuelle a changé et encourage maintenant plus les étudiants à produire eux-mêmes la science—et rapidement
- C’est en effet ce qui détermine les chances d’acceptation
- Publiez ou périssez! (publish or perish)
Pas de contrôle de qualité
That Stapel managed to go so long undiscovered in his fraud again raised alarms about the possibility that the supposed quality control mechanisms in psychological science were somehow failing.1
- Pas ou peu de contrôle de qualité, car cela ralentirait le processus de publication, de production!
- Qui supervise le superviseur?
L’importance de la réflexion a priori
If I had eight hours to chop down a tree, I’d spend six hours sharpening my axe
— Abraham Lincoln
Le problème de l’expertise éclatée
- Experts en théorie psychologique (principalement)
- Experts en méthodes expérimentales
- Experts en analyses statistiques
- Experts en psychologie clinique
- Quadruple doctorat??
Pas assez de temps (trop de lectures)
De longues sections méthodologiques et de résultats qui sont souvent peu pertinentes au point qui est en train d’être fait… Il existe un concept dans les compagnies où les individus sont payés à l’heure et quand il n’y a rien à faire, soit ils sont payés à rien faire, ou mieux, ils sont payé à faire des choses complètement inutiles et farfelues, juste pour dire qu’ils ne peuvent pas être sur leur téléphone, car ils sont payés, donc ils doivent travailler, même si c’est pas productif! Et donc je me demande si il n’y a pas un parallèle à faire ici, dans le sens qu’on se dit, mon dieu, ces gens là font un doctorat, faut faire quelque chose pour les garder occupés, sinon ça sera pas sérieux! Et notre solution? Plus de lectures!! Faut les garder occupés, même si ça la valeur ajoutée est faible! On focus sur les mauvaises affaires. Moins de temps sur les lectures, et plus de temps sur des projets intégrateurs appliqués! Les travaux, les présentations orales, les discussions, sont utiles dans ce sens là, donc ça fait du bien et ça fait changement du bac, mais d’après-moi on devrait aussi voir des exemples de cas appliqués en classe, et passer plus de temps à réfléchir dans par exemple des exercices interactifs plutôt que seulement sur des lectures théoriques. Système archaïque
- …
- …
- Trop d’information dilue le message
Mettre l’énergie à la bonne place?
- ~ 700 articles scientifiques pour maitrise + doc combinés
- ~ 2000 incluant bac (~ 6000 heures)
- Pas vraiment aidé à devenir un meilleur chercheur…
- Dû aller chercher ces connaissances dans mon temps libre (normal??)
- Tradition ou bénéfice réel?
- Bonne priorité? Quel est l’objectif?
- “Train them or don’t require them to produce!”
Formation plus appliquée
- Cours de sciences des données (avec R)
Permet d’adresser :
- Transparence & réplicabilité
- Le problème de l’expertise éclatée (pédagogie, tutoriels)
- Formation et production combinées facilitée
N’adresse pas :
- La fraude
- La réflexion à priori (mais pré-enregistrement aide)
Exemple de script R
https://remi-theriault.com/priming
Le problème du format « Journal »
- L’État finance la plupart des recherches
- L’État paie les salaires de la plupart de ceux qui vérifient la qualité de la recherche
- Puis, l’État achète la majeure partie du produit publié
- Les frais de libre accès se rajoutent à l’abonnement(!)
- Système efficace?
- L’idée des journaux, du Facteur d’Impact, du prestige : malsain?
Des profits monstrueux
- Ils achètent la compétition pour développer un monopole
- 15% des publications en 1970 vs 53% aujourd’hui
- Marge de profit : 35% (> Apple, Google, Amazon)
- Elsevier : profits ~ 3.3 billions (Netflix ~ 7.7 billions)
- Couts estimés = 3.3 x 2.9 = 9.4 billions
- Mais aucune contribution scientifique…
- Une fraude déguisée?
Un système de publication unifié 1/2
- Financé par le gouvernement ou des fondations
- Une seule place pour tous les articles
- Organisé par thème et sous-thèmes
- Avec plusieurs tags
- Genre de plateforme de preprints, mais peer-reviewed
- Plusieurs exemples de journaux accès libres sans frais de publications (e.g., JOSS)
- Pas de limites d’articles, effet tiroir réduit
Un système de publication unifié 2/2
- On se débarasse du système de Facteur d’Impact
- Ou bien une notation alternative qui dépend de l’article, pas du journal
- Basé sur un mixe de :
- évaluations originales des pairs
- nombre de citations
- « points » votés par les membres du système
Analyse cout-bénéfices
- Éditeurs : toujours gratuit (ou pourrait avoir une certaine compensation)
- Réviseurs : toujours gratuit (ou pourrait avoir une certaine compensation)
- Couts pour développer/acheter la plateforme : ~500k
- Serveurs pour héberger la plateforme : 10k/année
- Autre frais administratifs : 10k/année
- Total = 500k au départ, puis 20k/année
Épargne de = 94 billions sur 10 ans
Et s’il n’y avait plus d’électricité!????
- Plus gros problèmes (se nourrir, se transporter, se chauffer)
- Peut quand même imprimer sur du papier régulier
- Pour des besoins particuliers, ou pour des archives de l’humanité
- Couts d’impression très faibles, insignifiants
En résumé
Quelques unes des causes de nos problèmes…
Quelques unes des solutions possibles…
Conclusion
Parlez-en dans vos milieux!
Demander à vos collègues et directeurs d’employer de bonnes pratiques, de faire de la science ouverte!!
(Créez vous un Twitter!)
[Remerciements : Diapos créées via R et Quarto.]
Diapos disponibles : https://remi-theriault.com/slides/PSY7104_2022
Questions de discussion
- Dénoncer les mauvaises pratiques dans notre millieu?
- La valorisation institutionnelle de la science ouverte?
- Tag confirmatoire vs. exploratoire pour les articles?
- Remplacer le cours de stats par un cours de sciences des données (avec R)?
- La pertinence d’une base de données ouverte d’articles classés par thème plutôt que le format de type « journal »?
- L’automatisation du processus de révision par les pairs
- Authorship et financement pour toutes et tous?