Contexte:
J'ai dû effectuer une analyse de données pour un client (une sorte d'avocat) qui était un débutant absolu en statistique. Il m'a demandé ce que le terme "signification statistique" signifie et j'ai vraiment essayé de l'expliquer ... mais comme je ne suis pas bon pour expliquer les choses, j'ai échoué;)
Réponses:
Les différences résultent du hasard.
Lorsque nous pensons que quelque chose est statistiquement significatif, nous pensons que la différence est plus grande que ce qui peut raisonnablement être expliqué comme un événement fortuit.
REMARQUE: ce que je veux souligner dans cette réponse, c'est que la signification statistique est un outil utile, mais aussi différent de la vérité.
Prenez un paquet de 52 cartes. Si mon client est innocent, c'est un paquet de cartes normal, 13 cœurs. Si mon client ment, c'est un paquet fixe et les 52 cartes sont des coeurs.
Je tire la première carte et c'est un coeur. Aha, coupable! Eh bien, évidemment, le bon sens nous dit que ce n'est pas le cas: il y avait une chance sur quatre que cela se produise même s'il était innocent. Nous n'avons pas de signification statistique simplement en regardant une seule carte.
Nous tirons donc une deuxième carte. Un autre cœur. Hhhmmm ... définitivement coupable alors! Eh bien, il y avait encore 12 coeurs dans les 51 cartes restantes, donc ce n'est pas impossible. Les maths (13/52 * 12/51 = 0,0588) nous disent que cela se produit environ 6% du temps même si innocent. Pour la plupart des scientifiques, cela ne compterait toujours pas.
Piochez une troisième carte, un autre cœur! Trois d'affilée. Les chances que cela se produise sont (13/52 * 12/51 * 11/50 = 0,01294), donc un peu plus de 1% du temps cela peut arriver par hasard.
Dans une grande partie de la science, 5% est utilisé comme point de coupure. Donc, si vous n'avez pas d'autre preuve que ces trois cartes, vous avez un résultat statistiquement significatif qu'il est coupable.
Le point important est que plus vous êtes autorisé à regarder de cartes, plus votre confiance en sa culpabilité est meilleure, ce qui est une autre façon de dire que plus la signification statistique est élevée.
REMARQUE: vous n'avez jamais de preuve de sa culpabilité, sauf si vous êtes autorisé à regarder 14 cartes. Avec un paquet de cartes normal, il est théoriquement possible de dessiner 13 coeurs d'affilée, mais 14 est impossible. [Mis à part les pédants: supposons que les numéros sur les cartes ne sont pas visibles; toutes les cartes sont l'une des quatre combinaisons possibles, et c'est tout.]
REMARQUE: vous avez la preuve de son innocence au moment où vous piochez une carte autre qu'un cœur. En effet, il n'y avait que deux packs possibles: normal ou tous les cœurs. La vie réelle est plus compliquée, et les maths deviennent plus compliqués aussi.
Soit dit en passant, si votre client n'est pas un joueur de cartes, essayez Monopoly: tout le monde fait un double-six parfois; mais si quelqu'un fait un double-six à chaque fois que vous vous méfiez. Les statistiques nous permettent simplement de donner un chiffre exact sur la façon dont nous devons être méfiants.
Mon propre conseil est de ne pas parler des choses suivantes:
Ne soyez pas trop dur avec vous-même à propos de l'avocat. Il s'agit d'une personne éduquée qui a passé au moins un semestre dans un cours de statistique universitaire, et pas un petit peu avec lui. C'est la même histoire pour pratiquement tous les autres non-scientifiques avec qui j'ai travaillé - la signification statistique ne tient pas . C'est tout simplement un concept trop contre nature.
Je vous encourage à expliquer la signification statistique en termes de preuves . Les statisticiens classiques ont codé les preuves sur une échelle de 0 à 1, où des valeurs plus petites constituent plus de preuves et 0,05 est l'endroit où la ligne est conventionnellement tracée.
"Statistiquement significatif" signifie que quelque chose aurait pu se produire au hasard, mais c'est peu probable. Au lieu de cela, il est beaucoup plus probable qu'il existe une sorte de cause. Vous devriez rendre cela plus concret avec un exemple qui est pertinent pour votre client, car cette explication est tellement abstraite.
Par exemple, si l'avocate Anne a gagné beaucoup plus de cas en moyenne que Bill, cela aurait pu se produire au hasard. Cependant, si Anne a gagné plus de cas statistiquement significatifs, il est beaucoup plus probable qu'il y ait quelque chose qui pourrait aider à expliquer pourquoi Anne a gagné plus de cas que Bill. Nous ne connaissons pas la cause. Peut-être qu'Anne est une meilleure avocate ou que Bill choisit exprès des cas plus difficiles.
Restez simple et concis!
Une valeur de p est définie comme la probabilité d'obtenir des résultats aussi ou plus extrêmes que celui que nous avons observé en supposant que le zéro est vrai. Si la valeur de p est suffisamment petite, la valeur null n'est probablement pas vraie. Nous choisissons arbitrairement un seuil pour ce que nous considérons comme un "assez petit" (alpha) et pour toutes les valeurs de p qui tombent en dessous de alpha, nous rejetons le nul.
Voilà comment je l'explique à ma classe de statistiques d'introduction.
J'essaierai.
D'abord, vous calculez une valeur de p basée sur les données moyennes et la variation des données. Plus il est variable, moins il est probable qu'il obtienne une petite valeur de p. D'un autre côté, si, par exemple, vous comparez deux groupes, plus la différence entre les moyennes est grande, plus la valeur p est petite.
De plus, la variabilité des données peut être quelque peu annulée en ayant plus de données. Imagerie de deux ensembles de données avec la même différence entre deux moyennes et la même quantité de variabilité. Dans ce cas, l'ensemble avec une plus grande taille d'échantillon aura une valeur de p plus petite.
La partie test ne fait que voir si la valeur de p est inférieure à un certain nombre. Habituellement, les gens utilisent 0,05, mais c'est une coutume sociale arbitraire. Beaucoup de gens pensent que cela n'a aucun sens d'utiliser un nombre arbitraire, mais c'est très courant pour des raisons historiques.
Gardez également à l'esprit que ce n'est pas parce que votre test de signification indique qu'il y a une différence entre deux groupes que vous savez pourquoi il y a cette différence. D'un autre côté, si le test indique qu'il n'y a pas de différence significative, cela pourrait être dû au fait que votre variabilité était trop grande et que vous n'aviez pas suffisamment de données pour obtenir une valeur p faible, cela ne signifie pas qu'il n'y a pas de différence réelle.
Éditer:
Pour résumer, une valeur p inférieure signifie plus de preuves contre la prédiction:
Différence par rapport au résultat prévu -> Valeur p en baisse
Plus de données -> baisse de la valeur p
Plus de variabilité -> Augmentation de la valeur p
Une valeur de p en baisse signifie plus de preuves indiquant que la prédiction est fausse. Chaque prédiction de l'histoire s'est révélée fausse à une décimale près.
La signification statistique est un concept utilisé pour justifier l'acceptation ou le rejet d'une hypothèse donnée. Étant donné un ensemble de données, un analyste peut calculer des statistiques et déterminer l'ampleur de diverses relations entre différentes variables.
Le travail des statistiques est de déterminer si les données contiennent suffisamment de preuves pour vous permettre de conclure que les statistiques calculées ou les relations observées entre les variables peuvent être interprétées comme étant de véritables déclarations ou si les résultats observés dans vos données d'échantillon sont simplement dus au hasard. Cela se fait en déterminant une statistique d'échantillon qui présenterait certaines caractéristiques si l'hypothèse nulle est vraie mais pas si l'hypothèse nulle est fausse. Plus l'échantillon statistique pertinent semble présenter les caractéristiques attendues dans l'hypothèse nulle, plus la preuve statistique que l'hypothèse nulle est correcte est forte. De même, moins la statistique de l'échantillon semble présenter les caractéristiques attendues dans l'hypothèse nulle, plus les preuves statistiques que l'hypothèse nulle est correcte sont faibles.
Le montant que l'échantillon statistique présente les caractéristiques attendues sous la valeur nulle est une question de degré, mais pour conclure que l'hypothèse nulle est acceptée ou rejetée, il doit y avoir un seuil arbitraire. En tant que tel, une valeur de coupure est choisie. Si l'échantillon statistique se situe à l'intérieur ou d'un côté de la valeur seuil, il est alors dit qu'il est conforme aux caractéristiques attendues dans l'hypothèse nulle, et donc le résultat peut être considéré comme statistiquement significatif pour la valeur seuil donnée (par exemple à l'alpha de 5% niveau). Si la statistique d'échantillon pertinente tombe de l'autre côté de la valeur seuil, alors elle est dite non conforme aux caractéristiques attendues dans l'hypothèse nulle, et donc le résultat n'est pas considéré comme statistiquement significatif pour la valeur seuil donnée.