L’envers du décor de l’EBP…

Et si la pratique basée sur les preuves était fondée sur un dogme qui pourrait bientôt tomber !

La semaine dernière, 800 chercheurs du monde entier ont publié une tribune dans la très respectée revue scientifique NATURE pour dénoncer l’application dogmatique de l’intervalle de confiance utilisé dans la majorité de la littérature scientifique, à savoir p < 0.05.

Vous allez me dire, ok mais ça change quoi la valeur de p ?

En vérité, ça change tout !
Le « dogme » actuel est que, si la valeur de p est inférieure à 0,05 le résultat est dit significatif et donc non lié au hasard. Et la très grande majorité de la littérature médicale est basée sur ce genre de calcul statistique…
En général, on compare 2 populations comme dans l’exemple ci-dessous.

On l’oublie parfois mais un résultat non significatif ne prouve pas l’hypothèse nulle.Dans notre exemple, l’hypothèse nulle est que l’intervention X n’a pas d’effet sur notre population…

Et oui vous avez bien lu, un résultat significatif prouve que l’intervention X a un effet mais un résultat non significatif ne prouve pas qu’il n’a pas d’effet…

Les auteurs de cette tribune nous présentent une enquête portant sur des centaines d’articles qui ont conclu que les résultats non significatifs sur le plan statistique étaient interprétés comme « pas de différence » ou « pas d’effet » dans environ la moitié des conclusions…

Et ce n’est pas fini…

Pour les auteurs de cette tribune, « la croyance selon laquelle le seuil de signification statistique est atteint suffit à démontrer qu’un résultat est «réel », a conduit les scientifiques et les éditeurs de revues à privilégier de tels résultats, faussant ainsi la littérature.

Pour faire simple, cela biaise toute la littérature disponible et encourage les chercheurs à choisir des données et des méthodes produisant une signification statistique pour un résultat souhaité (qui dit résultat significatif dit plus de chance que le « papier » soit publiable).

Pour lutter contre cette non publication d’études, qui ont pourtant bien été réalisées mais dont les résultats ne sont pas significatifs (pas bankable pour la revue, les auteurs… ), les signataires réclament l’obligation d’un pré-enregistrement des études et un engagement à publier tous les résultats.

Cette tribune plaide donc pour l’abandon de la notion d’intervalle de confiance et pour son remplacement par un intervalle de compatibilité… Ce qui serait un véritable bigbang pour le monde scientifique.

Fini les affirmations trop confiantes, fini les conclusions, «pas de différence» entre 2 groupes avec des p-values faibles mais non significatives. Ce serait également la fin des difficultés à trouver des résultats semblables lors d’études de réplication (études qui cherchent à vérifier les résultats d’une étude originale).

Les auteurs concluent en lâchant une petite bombe : « L’abus de signification statistique a causé beaucoup de tort à la communauté scientifique et à ceux qui s’appuient sur des avis scientifiques. Les valeurs P, les intervalles et les autres mesures statistiques ont tous leur place, mais il est temps que la signification statistique disparaisse. »

Une chose est sure, si ce dogme tombe, nos pratiques basées sur les preuves changeront…et à grande échelle !

Pour aller plus loin, voici le lien vers la tribune publié dans Nature.