Comment les scientifiques ont-ils calculé la forme de la fonction de densité de probabilité de distribution normale?

C’est probablement une question d’amateur, mais je voudrais savoir comment les scientifiques ont conçu la forme de la fonction de densité de probabilité de distribution normale. En gros, ce qui me dérange, c’est que, pour quelqu'un, il serait peut-être plus intuitif que la fonction de probabilité de données normalement distribuées ait la forme d'un triangle isocèle plutôt que d'une courbe en cloche, et comment prouver à une telle personne que la fonction de densité de probabilité de toutes les données normalement distribuées ont une forme de cloche? Par expérience? Ou par une dérivation mathématique?

Après tout, que considérons-nous comme des données normalement distribuées? Les données qui suivent le modèle de probabilité d'une distribution normale ou autre chose?

Ma question est essentiellement la suivante: pourquoi la fonction de densité de probabilité de distribution normale a-t-elle une forme de cloche et pas une autre? Et comment les scientifiques ont-ils déterminé sur quels scénarios de la vie réelle la distribution normale pouvait être appliquée, expérimentalement ou en étudiant la nature de diverses données elle-même?

J'ai donc trouvé que ce lien était très utile pour expliquer la dérivation de la forme fonctionnelle de la courbe de distribution normale, et répondait ainsi à la question "Pourquoi la distribution normale a-t-elle l'air comme si c'était le cas et rien d'autre?". Un raisonnement époustouflant, du moins pour moi.

" L'évolution de la distribution normale " de SAUL STAHL est la meilleure source d'informations pour répondre à peu près à toutes les questions de votre message. Je vais réciter quelques points pour votre commodité uniquement, car vous trouverez la discussion détaillée dans le document.

C'est probablement une question d'amateur

Non, c’est une question intéressante pour quiconque utilise des statistiques, car cela n’est traité en détail dans aucun cours standard.

En gros, ce qui me dérange, c’est que pour quelqu'un, il serait peut-être plus intuitif que la fonction de probabilité de données normalement distribuées ait la forme d'un triangle isocèle plutôt que d'une courbe en cloche, et comment prouver à une telle personne que la fonction de densité de probabilité de toutes les données normalement distribuées ont une forme de cloche?

Regardez cette image du papier. Il montre les courbes d'erreur que Simpson a établies avant la découverte de Gaussian (Normal) pour l'analyse de données expérimentales. Donc, votre intuition est sur place.

Par expérience?

Oui, c'est pourquoi ils ont été appelés "courbes d'erreur". L'expérience était des mesures astronomiques. Les astronomes ont lutté avec des erreurs de mesure pendant des siècles.

Ou par une dérivation mathématique?

Encore une fois, oui! Longue histoire courte: l'analyse des erreurs dans les données astronomiques a conduit Gauss à sa distribution (aka Normal). Ce sont les hypothèses qu'il a utilisées:

À propos, Laplace a eu recours à différentes approches et a également proposé sa distribution tout en travaillant avec des données astronomiques:

Voici une explication typique utilisée par un physicien (explication de Gerhard Bohm, Günter Zech, Introduction à la statistique et à l'analyse de données pour physiciens, p.85) pour expliquer pourquoi la distribution normale est entachée d'erreur de mesure dans l'expérience .

De nombreux signaux expérimentaux suivent très bien une distribution normale. Cela est dû au fait qu'elles consistent en la somme de nombreuses contributions et une conséquence du théorème de la limite centrale.

Vous semblez supposer dans votre question que le concept de distribution normale existait avant l'identification de la distribution, et les gens ont essayé de comprendre ce que c'était. Je ne vois pas comment cela fonctionnerait. [Edit: il y a au moins un sens que nous pourrions considérer comme une "recherche d'une distribution" mais ce n'est pas "une recherche d'une distribution qui décrit beaucoup de phénomènes"]

Ce n'est pas le cas; la distribution était connue avant qu'on l'appelait la distribution normale.

comment prouver à une telle personne que la fonction de densité de probabilité de toutes les données normalement distribuées a la forme d'une cloche

La fonction de distribution normale est ce qui a ce qu’on appelle habituellement une "forme de cloche" - toutes les distributions normales ont la même "forme" (en ce sens qu’elles ne diffèrent que par leur échelle et leur emplacement).

Les données peuvent sembler plus ou moins «en forme de cloche» dans la distribution, mais cela ne les rend pas normales. Beaucoup de distributions non normales ont la même apparence "en forme de cloche".

La distribution réelle de la population à partir de laquelle les données sont tirées n’est probablement jamais vraiment normale, bien que ce soit parfois une approximation tout à fait raisonnable.

Ceci est généralement vrai de presque toutes les distributions que nous appliquons aux choses du monde réel - ce sont des modèles , pas des faits sur le monde. [Par exemple, si nous faisons certaines hypothèses (celles d'un processus de Poisson), nous pouvons déduire la distribution de Poisson - une distribution largement utilisée. Mais ces hypothèses sont-elles jamais exactement satisfaites? Généralement, le mieux que nous puissions dire (dans les bonnes situations) est qu’elles sont presque vraies.]

Que considérons-nous réellement comme des données normalement distribuées? Les données qui suivent le modèle de probabilité d'une distribution normale, ou autre chose?

Oui, pour être effectivement distribuée normalement, la population à partir de laquelle l'échantillon aurait été créé devrait avoir une distribution qui présente exactement la forme fonctionnelle d'une distribution normale. En conséquence, aucune population finie ne peut être normale. Les variables qui doivent nécessairement être délimitées ne peuvent pas être normales (par exemple, les temps pris pour des tâches particulières, la longueur de choses particulières ne peuvent pas être négatives et ne peuvent donc pas être distribuées normalement).

il serait peut-être plus intuitif que la fonction de probabilité de données normalement distribuées ait la forme d'un triangle isocèle

Je ne vois pas pourquoi c'est nécessairement plus intuitif. C'est certainement plus simple.

Au début de l’élaboration de modèles de distribution d’erreurs (en particulier pour l’astronomie au début de la période), les mathématiciens ont envisagé diverses formes en relation avec les distributions d’erreur (y compris une distribution triangulaire), mais dans la plupart des travaux, il s’agissait de mathématiques ( que l'intuition) qui a été utilisé. Laplace a étudié les distributions doubles exponentielles et normales (parmi plusieurs autres), par exemple. De même, Gauss a utilisé les mathématiques pour le calculer à peu près au même moment, mais par rapport à un ensemble de considérations différent de celui de Laplace.

Dans le sens étroit où Laplace et Gauss envisageaient des "distributions d'erreurs", on pourrait considérer qu'il s'agissait d'une "recherche d'une distribution", du moins pour un temps. Les deux postulaient des propriétés pour une distribution d’erreurs qu’ils considéraient importantes (Laplace considérait une séquence de critères quelque peu différents dans le temps) conduisait à des distributions différentes.

Ma question est essentiellement la suivante: pourquoi la fonction de densité de probabilité de distribution normale a-t-elle une forme de cloche et pas une autre?

La forme fonctionnelle de la chose appelée fonction de densité normale lui donne cette forme. Considérons la norme normale (pour simplifier; chaque autre normale a la même forme, ne différant que par son échelle et son emplacement):

$k$

$x$

Bien que certaines personnes aient considéré la distribution normale comme "habituelle", ce n’est vraiment que dans certains ensembles de situations que vous avez même tendance à la considérer comme une approximation.

La découverte de la distribution est généralement attribuée à de Moivre (approximation du binôme). Il a en fait dérivé la forme fonctionnelle en essayant d'approximer les coefficients binomiaux (/ probabilités binomiales) pour approcher des calculs fastidieux, mais - bien qu'il dérive effectivement la forme de la distribution normale - il ne semble pas avoir pensé à son approximation comme un distribution de probabilité, bien que certains auteurs suggèrent qu'il l'a fait. Une certaine interprétation est nécessaire afin de permettre des différences dans cette interprétation.

Gauss et Laplace y travaillèrent au début des années 1800; Gauss en écrivit en 1809 (en relation avec le fait qu'il s'agisse de la distribution pour laquelle la moyenne est la MLE du centre) et Laplace en 1810, en tant qu'approximation de la distribution des sommes de variables aléatoires symétriques. Dix ans plus tard, Laplace donne une première forme du théorème de la limite centrale, pour les variables discrètes et continues.

Les premiers noms de la distribution incluent la loi de l'erreur , la loi de la fréquence des erreurs , et il a également été nommé d'après Laplace et Gauss, parfois conjointement.

Le terme "normal" a été utilisé pour décrire la distribution indépendamment par trois auteurs différents dans les années 1870 (Peirce, Lexis et Galton), le premier en 1873 et les deux autres en 1877. Cela fait plus de soixante ans après les travaux de Gauss et Laplace et plus du double depuis l'approximation de De Moivre. Son utilisation par Galton était probablement la plus influente, mais il utilisa le terme "normal" par rapport à lui une seule fois dans cette œuvre de 1877 (l'appelant principalement "la loi de la déviation").

Cependant, dans les années 1880, Galton utilisa l'adjectif "normal" en rapport avec la distribution (par exemple, comme "courbe normale" en 1889), et influença à son tour les statisticiens britanniques (notamment Karl Pearson ). Il n'a pas expliqué pourquoi il avait utilisé le terme "normal" de cette manière, mais l'a probablement interprété dans le sens de "typique" ou "habituel".

La première utilisation explicite de l'expression "distribution normale" semble être celle de Karl Pearson; il l'utilise certainement en 1894, bien qu'il affirme l'avoir utilisé bien avant (une affirmation que je considérerais avec une certaine prudence).

Les références:

Miller, Jeff
"Premières utilisations connues de certains termes de mathématiques:"
Distribution normale (Entrée de John Aldrich)
http://jeff560.tripod.com/n.html

Stahl, Saul (2006),
"L'évolution de la distribution normale",
Mathematics Magazine , Vol. 79, n ° 2 (avril), p. 96-113
https://www.maa.org/sites/default/files/pdf/upload_library/22/Allendoerfer/stahl96.pdf

Distribution normale, (1er août 2016).
Dans Wikipedia, l'encyclopédie libre.
Récupéré le 3 août 2016 à 12 h 02 dans
https://en.wikipedia.org/w/index.php?title=Normal_distribution&oldid=732559095#History.

Hald, A (2007),
"Approximation normale de De Moivre au binôme, 1733 et sa généralisation",
dans: Une histoire de l'inférence statistique paramétrique de Bernoulli à Fisher, 1713-1935; pp 17-24

[Vous pouvez noter des divergences substantielles entre ces sources par rapport à leur compte de Moivre]

La distribution "normale" est définie comme étant cette distribution particulière.

La question est de savoir pourquoi nous nous attendrions à ce que cette distribution particulière soit de nature commune et pourquoi est-elle si souvent utilisée comme approximation même lorsque les données réelles ne suivent pas exactement cette distribution? (Les données réelles ont souvent une "grosse queue", c'est-à-dire que les valeurs éloignées de la moyenne sont beaucoup plus courantes que la distribution normale ne le prédisait).

En d'autres termes, quelle est la particularité de la distribution normale?

La normale a beaucoup de "bonnes" propriétés statistiques (voir par exemple https://en.wikipedia.org/wiki/Central_limit_theorem ), mais l’OMI la plus pertinente est le fait que cette fonction est la "entropie maximale" pour toute distribution avec une moyenne et une variance données. https://en.wikipedia.org/wiki/Maximum_entropy_probability_distribution

Pour exprimer cela en langage ordinaire, si on ne vous donne que la moyenne (point central) et la variance (largeur) d'une distribution, et que vous n'assumez rien d'autre à ce sujet, vous serez forcé de dessiner une distribution normale. Tout le reste nécessite des informations supplémentaires (au sens de la théorie de l'information de Shannon ), par exemple l'asymétrie, pour le déterminer.

Le principe d’entropie maximale a été introduit par ET Jaynes afin de déterminer les a priori raisonnables dans l’inférence bayésienne, et je pense qu’il a été le premier à attirer l’attention sur cette propriété.

Voir ceci pour une discussion plus approfondie: http://www.inf.fu-berlin.de/inst/ag-ki/rojas_home/documents/tutorials/Gaussian-distribution.pdf

La distribution normale (ou " distribution gaussienne ") repose sur une base mathématique solide. Le théorème de la limite centrale dit que si vous avez un ensemble fini de n variables aléatoires indépendantes et identiquement distribuées ayant une moyenne et une variance spécifiques, et que vous prenez la moyenne de ces variables aléatoires, la distribution du résultat convergera vers une distribution gaussienne sous la forme n va à l'infini. Il n’ya pas de doute ici, puisque la dérivation mathématique conduit à cette fonction de distribution spécifique et à aucune autre.

Pour exprimer cela de manière plus concrète, considérons une seule variable aléatoire, telle que lancer une pièce de monnaie équitable (2 résultats également possibles). Les chances d'obtenir un résultat particulier sont de 1/2 pour les têtes et de 1/2 pour les queues.

Si vous augmentez le nombre de pièces et gardez une trace du nombre total de têtes obtenues à chaque essai, vous obtiendrez une distribution binomiale , qui a une forme de cloche approximative. Il vous suffit de représenter graphiquement le nombre de têtes le long de l'axe des x et le nombre de fois que vous avez retourné autant de têtes le long de l'axe des y.

Plus vous utilisez de pièces de monnaie et plus vous les retournez, plus le graphique ressemblera à une courbe en cloche gaussienne. C'est ce que le théorème de la limite centrale affirme.

La chose étonnante est que le théorème ne dépend pas de la façon dont les variables aléatoires sont réellement distribuées, du moment que chacune des variables aléatoires a la même distribution. Une idée clé dans le théorème est que vous ajoutez ou calculez la moyenne des variables aléatoires. Un autre concept clé est que le théorème décrit la limite mathématique lorsque le nombre de variables aléatoires devient de plus en plus grand. Plus vous utilisez de variables, plus la distribution s'approchera d'une distribution normale.

Je vous recommande de suivre un cours de statistique mathématique si vous voulez voir comment les mathématiciens ont déterminé que la distribution normale est en fait la fonction mathématiquement correcte pour la courbe en cloche.

Il y a d'excellentes réponses sur ce fil. Je ne peux m'empêcher de penser que le PO ne posait pas la même question à laquelle tout le monde veut répondre. Je comprends cela, cependant, car c’est presque une des questions les plus excitantes à laquelle répondre: j’ai trouvé le résultat, car j’espérais que quelqu'un me posait la question suivante: "Comment savons-nous que le PDF normal est un PDF?" et je l'ai cherché. Mais je pense que la réponse à la question peut être de démontrer l’origine de la distribution normale.

$n$$n$$np$$np(1-p)$$n\to\infty$

$n\to\infty$$p\to0$$np=1$

$n=10$$p=0.5$$n=100$$p=0.5$$n$

Si je dépose actuellement 100 pièces sur le sol et compte le nombre de têtes que je reçois, je pourrais compter 0 tête, ou je pourrais en compter 100, mais je suis beaucoup plus susceptible de compter un nombre quelque part entre les deux. Voyez-vous pourquoi cet histogramme devrait être en forme de cloche?

Mentionnerions également la dérivation de Maxwell-Herschel de la distribution normale multivariée indépendante à partir de deux hypothèses:

1. La distribution n'est pas affectée par la rotation du vecteur.

2. Les composants du vecteur sont indépendants.

Voici l'exposition de Jaynes