Depuis quelques années un manque de puissance a été mis au jour dans divers domaines de recherche. Cela a abouti à de sérieux doutes quant à la reproductibilité de beaucoup de résultats scientifiques. À notre connaissance, aucune étude n’a évalué ce problème en psychopharmacologie expérimentale préclinique. Nous avons choisi d’étudier le sous-domaine de la préférence de lieu conditionné induite par la nicotine chez la souris (PLCNIC).
Nous avons identifié les articles le concernant sur PubMed et nous en avons extrait les tailles des échantillons, le type de tests statistiques (F ou t), leurs résultats, leurs degrés de liberté, et leurs p-valeurs. À partir de ces valeurs, nous avons calculé la puissance prospective médiane pour 6 tailles d’effets (classification de Sawilowsky, 2009). Le taux de vraies découvertes (True Report Probability : TRP) a été calculé à partir des puissances médianes, de l’erreur de type I fixée à 5 %, et de la plausibilité que nous avons fait varier de 0 à 1.
Des 139 articles trouvés sur PubMed, 48 ont rencontré nos critères d’inclusion. Ces 48 articles contenaient 109 tests statistiques utilisables pour notre projet. Dans cet échantillon de tests 77,57 % sont significatifs. Les puissances médianes pour les tests F pour les petites, moyennes, et grandes tailles d’effet sont respectivement de 9,5 %, 34,1 % et 70,4 %. Pour les tests t nous avons trouvé 6,8 %, 17 %, et 35,8 %. Aucun de ces chiffres n’atteint le seuil recommandé de 80 %. Pour une plausibilité de 10 %, nous trouvons des TRP pour les tests F pour une petite, moyenne et grande taille d’effet de 16 % 40,8 %, et 58,5 % soit des taux de fausses découvertes de 84 %, 59,2 %, et 41,5 %. Pour les tests t les TRP pour les mêmes tailles d’effets sont de 12 %, 25,3 %, et 41,7 % soit des taux de fausses découvertes de 88 %, 74,7 %, et 58,3 %, bien supérieurs aux 5 % maximum que l’on croit garantis par la probabilité alpha.
Nous retrouvons donc, dans le sous-domaine de la PLCNIC, le manque de puissance et l’augmentation de faux positif associée qui ont déjà été observés dans d’autres disciplines.
Nous avons aussi étendu les graphiques de Ioannidis (2005) pour représenter les TRP qu’on obtient avec des rapports de chance supérieurs à 1/1 qui pourrait donner des TRP plus favorables. |