Peut-on laisser de côté les données de la recherche car elles ne sont pas significatives?

9

J'ai rencontré cette phrase en lisant un article sur sciencemag.org .

Au final, les réponses de seulement 7600 chercheurs dans 12 pays ont été incluses car les données restantes n'étaient pas considérées comme statistiquement significatives.

Est-ce une bonne façon de faire de la recherche? Oublier les résultats parce qu'ils n'étaient pas considérés comme statistiquement significatifs?

— au dessus
source

Un lecteur note qu'un rapport est disponible sur eurodoc.net/index.php?s=file_download&id=122 et nous renvoie spécifiquement aux pages 104 à 105 du rapport complet (mais je ne sais pas où cela est disponible).

— whuber

1

C'est le lien pour le rapport complet.

— Aaron a quitté Stack Overflow le

@Aaron Merci. Pour une raison quelconque, ma première tentative n'a produit qu'un résumé de 6 pages, mais maintenant le lien fonctionne bien.

— whuber

6

Dans le rapport cité dans le commentaire de whuber, il est dit à la page 104 [page 114 du pdf]:

L'enquête a réussi à activer la participation d'environ 8 900 doctorants de plus de 30 pays ...

Puis, couvrant les pages 104-105, il dit:

Lors des procédures de nettoyage des données, l'équipe d'experts d'Eurodoc Survey a décidé d'effectuer une analyse de test de puissance. Sur la base de l'hypothèse de questionnaires entièrement remplis qui aboutiront à une distribution multi normale, un test de puissance pour l'estimation de l'intervalle de confiance a été utilisé. Cela a été fait pour tester l'exactitude des données. Il a été décidé d'accepter au maximum un niveau d'erreur de 6% à un intervalle de confiance de 95%. Une perte de 16% de la taille de l'échantillon a abouti à un échantillon de 12 pays participants avec 7 600 participants.

Il n'est donc pas vraiment clair exactement pourquoi la perte de 16% dans l'échantillon, mais l'hypothèse de réponses incomplètes est probablement correcte. (Et vous pouvez voir pourquoi le journaliste était confus.)

— Karl
source

5

Le paragraphe des pages 104-105 parle de lui-même en documentant des bêtises.

— Frank Harrell

13

Cette phrase n'a pas de sens et est clairement erronée.

Les données ne peuvent pas être statistiquement significatives ou insignifiantes. Seules les relations entre données, fruit de tests statistiques, peuvent être évoquées en ces termes.

Si la question est: pouvons-nous supprimer des données de nos analyses parce que l'inclusion de ces données signifie que nous ne pouvons pas rejeter l'hypothèse nulle? La réponse est - évidemment, j'espère! - non . Le message que vous avez cité est un reportage, pas un article scientifique. Si ce document avait été examiné, il ne serait jamais entré.

Probablement, les données n'ont pas été incluses car il existe des raisons substantielles de ne pas inclure ces données. Comme d'autres l'ont suggéré, les données exclues étaient probablement incomplètes ou collectées à l'aide de méthodes différentes ou incomparables.

— Benjamin Mako Hill
source

J'espère... ;) .

— FairMiles

7

Non.

Je soupçonne que le journaliste voulait dire que les autres personnes ont été laissées de côté parce que les enquêtes étaient incomplètes ou incohérentes en interne.

— Harvey Motulsky
source

1

c'est aussi ce que je soupçonnais, mais cette phrase est clairement trompeuse ..

— upabove

2

Non, mais les journalistes peuvent utiliser un jargon technique complètement insensé.

— John
source