Comment comprendre les degrés de liberté?

D'après Wikipedia , il existe trois interprétations des degrés de liberté d'une statistique:

En statistique, le nombre de degrés de liberté est le nombre de valeurs dans le calcul final d’une statistique qui sont libres de varier .

Les estimations de paramètres statistiques peuvent être basées sur différentes quantités d'informations ou de données. Le nombre d' éléments d'information indépendants qui entrent dans l'estimation d'un paramètre s'appelle les degrés de liberté (df). En général, les degrés de liberté d'une estimation d'un paramètre sont égaux au nombre de scores indépendants inclus dans l'estimation moins le nombre de paramètres utilisés comme étapes intermédiaires dans l'estimation du paramètre lui-même (qui, en variance, est un, puisque la moyenne de l'échantillon est la seule étape intermédiaire).

Mathématiquement, les degrés de liberté sont la dimension du domaine d'un vecteur aléatoire , ou essentiellement le nombre de composants "libres": combien de composants doivent être connus avant que le vecteur ne soit complètement déterminé .

Les mots audacieux sont ce que je ne comprends pas bien. Si possible, des formulations mathématiques aideront à clarifier le concept.

De plus, les trois interprétations sont-elles en accord?

C'est une question subtile. Il faut une personne réfléchie pour ne pas comprendre ces citations! Bien qu’ils soient suggestifs, il s’avère qu’aucun d’entre eux n’est exact ou généralement correct. Je n'ai pas le temps (et il n'y a pas assez de place ici) de faire un exposé complet, mais j'aimerais partager une approche et un aperçu de ce que cela suggère.

D'où vient le concept de degrés de liberté (FD)? Les contextes dans lesquels on se trouve dans les traitements élémentaires sont:

• Le test t de Student et ses variantes, telles que les solutions de Welch ou de Satterthwaite au problème de Behrens-Fisher (où deux populations présentent des variances différentes).

• La distribution du khi-carré (définie comme la somme des carrés des normales standard indépendantes), qui est impliquée dans la distribution d'échantillonnage de la variance.

• Le test F (des ratios de variances estimées).

• Le test du chi carré , qui comprend ses utilisations dans (a) les tests d'indépendance dans les tableaux de contingence et (b) les tests de validité de l'ajustement des estimations de distribution.

Dans l’esprit, ces tests vont de l’exactitude (test t de Student et test F pour les variables normales) à de bonnes approximations (test t de Student et tests de Welch / Satterthwaite pour des données non trop mal asymétriques). ) repose sur des approximations asymptotiques (test du chi carré). L’apparition de "degrés de liberté" non intégraux (tests de Welch / Satterthwaite et, comme nous le verrons, teste le khi-carré) constitue un aspect intéressant. Cela présente un intérêt particulier car c’est le premier indice que DF n’est pas ce que l’on prétend.

Nous pouvons régler immédiatement certaines des revendications de la question. Comme le "calcul final d'une statistique" n'est pas bien défini (cela dépend apparemment de l'algorithme utilisé pour le calcul), il ne peut s'agir que d'une suggestion vague et ne mérite aucune autre critique. De même, ni le "nombre de notes indépendantes prises en compte dans l'estimation" ni "le nombre de paramètres utilisés comme étapes intermédiaires" ne sont bien définis.

Il est difficile de traiter les "éléments d'information indépendants qui entrent dans [une] estimation" , car il existe deux sens différents mais intimement liés d'indépendant qui peuvent être pertinents ici. L'un est l'indépendance des variables aléatoires; l'autre est l'indépendance fonctionnelle. Comme exemple de ce dernier, supposons que nous collections des mesures morphométriques de sujets - par exemple, pour simplifier, les trois longueurs de côté , , Z , les aires S = 2 ( X Y + Y Z + Z X ) et les volumes V = X Y Z$X$$Y$$Z$$S=2(XY+YZ+ZX)$$V=XYZ$d'un ensemble de blocs de bois. Les trois longueurs de côté peuvent être considérées comme des variables aléatoires indépendantes, mais les cinq variables sont des RV dépendantes. Les cinq sont également fonctionnellement dépendants du fait que le codomaine ( pas le "domaine"!) De la variable aléatoire à valeur vectorielle trace une variété tridimensionnelle dans R 5 . (Ainsi, localement en tout point ω ∈ R 5 , il y a deux fonctions f ω et g ω pour laquelle f $(X,Y,Z,S,V)$$\mathbb{R}^5$$\omega\in\mathbb{R}^5$$f_\omega$$g_\omega$ et g ω ( X ( ψ ) , ... , V ( ψ ) ) = 0 pourpoints ψ "proche" ω et les dérivés de f et g évalué à ω sont linéairement indépendants.) Cependant - voici le kicker - pour de nombreuses mesures de probabilité sur les blocs, des sous-ensembles de variables tels que ( X $f_\omega(X(\psi),\ldots,V(\psi))=0$$g_\omega(X(\psi),\ldots,V(\psi))=0$$\psi$$\omega$$f$$g$$\omega$ sontdépendants entant que variables aléatoires mais fonctionnellementindépendants.$(X,S,V)$

Ayant été alertés par ces ambiguïtés potentielles, organisons l'examen du test d'adéquation de l'ajustement du chi-carré , car (a) c'est simple, (b) c'est l'une des situations courantes où les gens ont vraiment besoin de connaître DF pour obtenir les résultats. p-value right et (c) il est souvent utilisé de manière incorrecte. Voici un bref résumé de l'application la moins controversée de ce test:

• Vous disposez d'une collection de valeurs de données , considérée comme un échantillon d'une population.$(x_1, \ldots, x_n)$

• Vous avez estimé certains paramètres d'une distribution. Par exemple, vous avez estimé la moyenne θ 1 et l'écart type θ 2 = θ p d'une distribution normale, en supposant que la population est normalement distribuée mais ne sachant pas (avant d'avoir obtenu les données) ce que θ 1 ou θ 2 pourrait être.$\theta_1, \ldots, \theta_p$$\theta_1$$\theta_2 = \theta_p$$\theta_1$$\theta_2$

• À l’avance, vous avez créé un ensemble de "bacs" pour les données. (Cela peut être problématique lorsque les bacs sont déterminés par les données, même si cela est souvent fait.) À l'aide de ces bacs, les données sont réduites à l'ensemble des comptes dans chaque bac. En anticipant ce que pourraient être les vraies valeurs de ( θ ) , vous l’avez arrangé de manière (espérons-le), chaque bin recevra approximativement le même nombre. (Le binning à probabilités égales assure que la distribution chi-carré est vraiment une bonne approximation de la distribution vraie de la statistique chi-carré sur le point d'être décrite.)$k$$(\theta)$

• Vous avez beaucoup de données - suffisamment pour assurer que presque tous les bacs doivent avoir un compte de 5 ou plus. (Ceci, nous l' espérons, permettra la distribution d'échantillonnage de la statistique à approcher de manière adéquate par un χ 2 distribution.)$\chi^2$$\chi^2$

En utilisant les estimations de paramètres, vous pouvez calculer le nombre attendu dans chaque groupe. La statistique du chi carré est la somme des ratios

$$\frac{(\text{observed}-\text{expected})^2}{\text{expected}}.$$

De nombreuses autorités nous ont dit que cela devrait avoir (dans une très proche approximation) une distribution du chi carré. Mais il y a toute une famille de telles distributions. Ils sont différenciés par un paramètre souvent appelé "degrés de liberté". Le raisonnement standard sur la façon de déterminer ν va comme ceci$\nu$$\nu$

J'ai compte. C'est k morceaux de données. Mais il existe des relations ( fonctionnelles ) entre eux. Pour commencer, je sais d'avance que la somme des comptes doit être égale à n . C'est une relation. J'ai estimé deux (ou p , généralement) paramètres à partir des données. C'est deux (ou p ) relations supplémentaires, donnant p + 1 relations totales. En supposant qu'ils (les paramètres) soient tous indépendants (sur le plan fonctionnel ), cela ne laisse que k - p - 1 "degrés de liberté" (sur le plan fonctionnel ): c’est la valeur à utiliser pour$k$$k$$n$$p$$p$$p+1$$k-p-1$ .$\nu$

Le problème avec ce raisonnement (qui est le type de calcul auquel les citations dans la question font allusion) est que c'est faux, sauf lorsque certaines conditions supplémentaires spéciales sont remplies. En outre, ces conditions n’ont rien à voir avec l’indépendance (fonctionnelle ou statistique), avec le nombre de "composants" des données, avec le nombre de paramètres, ni avec quoi que ce soit qui est mentionné dans la question initiale.

Laissez-moi vous montrer un exemple. (Pour que ce soit aussi clair que possible, j'utilise un petit nombre de bacs, mais ce n'est pas essentiel.) Générons 20 variables normales normales indépendantes et identiquement distribuées (iid) et estimons leur écart moyen et standard avec les formules habituelles ( moyenne = somme / compte, etc. ). Pour tester la qualité de l'ajustement, créez quatre bacs avec des points de coupure aux quartiles d'une normale standard: -0,675, 0, +0,657 et utilisez le nombre de bacs pour générer une statistique du chi carré. Répétez si la patience le permet. J'ai eu le temps de faire 10 000 répétitions.

La sagesse standard à propos de DF dit que nous avons 4 classes et 1 + 2 = 3 contraintes, ce qui implique que la distribution de ces statistiques de 10 000 khi-carré devrait suivre une distribution de Khi-carré avec 1 DF. Voici l'histogramme:

La ligne bleu foncé représente graphiquement le PDF d'un la distribution - celui que nous pensions que cela fonctionnerait - tandis que la ligne rouge foncé graphiques qui d'un χ 2 ( 2 ) la distribution ( ce qui serait une bonne estimation si quelqu'un pour vous dire que ν = 1 est incorrect). Ni correspond aux données.$\chi^2(1)$$\chi^2(2)$$\nu=1$

Vous pouvez vous attendre à ce que le problème soit dû à la petite taille des ensembles de données ( = 20) ou peut-être à la petite taille du nombre de bacs. Cependant, le problème persiste même avec de très grands ensembles de données et un plus grand nombre de fichiers: il ne s'agit pas simplement d'un échec dans l'obtention d'une approximation asymptotique.$n$

Les choses se sont mal passées car j'ai violé deux exigences du test du chi carré:

1. Vous devez utiliser l' estimation du maximum de vraisemblance des paramètres. (Cette exigence peut, dans la pratique, être légèrement violée.)

2. Vous devez baser cette estimation sur les comptes, pas sur les données réelles! (Ceci est crucial .)

L'histogramme rouge illustre les statistiques du chi-carré pour 10 000 itérations distinctes, conformément à ces exigences. Effectivement, il suit visiblement la courbe (avec une quantité d'erreur d'échantillonnage acceptable), comme nous l'avions espéré au départ.$\chi^2(1)$

Le but de cette comparaison - et j'espère que vous avez vu venir - est que le DF correct à utiliser pour calculer les valeurs p dépend de nombreux éléments autres que les dimensions des variétés, le nombre de relations fonctionnelles ou la géométrie des variables normales. . Il existe une interaction subtile et délicate entre certaines dépendances fonctionnelles, telles que trouvées dans les relations mathématiques entre les quantités, et les distributions des données, leurs statistiques et les estimateurs formés à partir de celles-ci. Par conséquent, DF ne peut pas être expliqué de manière adéquate en termes de géométrie des distributions normales multivariées, d’indépendance fonctionnelle, de décompte de paramètres ou de toute autre chose de cette nature.

Nous sommes amenés à voir, alors, que « degrés de liberté » est simplement une heuristique qui suggère statistique ce que la distribution d'échantillonnage d'un (t, Chi-carré, ou F) doit être, mais il ne règle pas. Croire qu’il est dispositif conduit à des erreurs flagrantes. (Par exemple, le meilleur hit de Google lors de la recherche "chi squared goodness of fit" est une page Web d'une université de l'Ivy League qui se trompe complètement! En particulier, une simulation basée sur ses instructions montre que le La valeur recommandée est de 7 DF et de 9 DF.)

Avec cette compréhension plus nuancée, il est utile de relire l'article Wikipedia en question: dans les détails, cela donne les bonnes choses, indiquant où l'heuristique DF a tendance à fonctionner et où elle est approximative ou ne s'applique pas du tout.

---

Un bon compte rendu du phénomène illustré ici (DF étonnamment élevé dans les tests GOF du chi carré) apparaît dans le Volume II de Kendall & Stuart, 5ème édition . Je suis reconnaissant de l’occasion offerte par cette question de me ramener à ce texte merveilleux, qui regorge d’analyses aussi utiles.

---

Edit (Jan 2017)

Voici le Rcode pour produire la figure suivante "La sagesse standard sur DF ..."

#
# Simulate data, one iteration per column of `x`.
#
n <- 20
n.sim <- 1e4
bins <- qnorm(seq(0, 1, 1/4))
x <- matrix(rnorm(n*n.sim), nrow=n)
#
# Compute statistics.
#
m <- colMeans(x)
s <- apply(sweep(x, 2, m), 2, sd)
counts <- apply(matrix(as.numeric(cut(x, bins)), nrow=n), 2, tabulate, nbins=4)
expectations <- mapply(function(m,s) n*diff(pnorm(bins, m, s)), m, s)
chisquared <- colSums((counts - expectations)^2 / expectations)
#
# Plot histograms of means, variances, and chi-squared stats.  The first
# two confirm all is working as expected.
#
mfrow <- par("mfrow")
par(mfrow=c(1,3))
red <- "#a04040"  # Intended to show correct distributions
blue <- "#404090" # To show the putative chi-squared distribution
hist(m, freq=FALSE)
curve(dnorm(x, sd=1/sqrt(n)), add=TRUE, col=red, lwd=2)
hist(s^2, freq=FALSE)
curve(dchisq(x*(n-1), df=n-1)*(n-1), add=TRUE, col=red, lwd=2)
hist(chisquared, freq=FALSE, breaks=seq(0, ceiling(max(chisquared)), 1/4), 
     xlim=c(0, 13), ylim=c(0, 0.55), 
     col="#c0c0ff", border="#404040")
curve(ifelse(x <= 0, Inf, dchisq(x, df=2)), add=TRUE, col=red, lwd=2)
curve(ifelse(x <= 0, Inf, dchisq(x, df=1)), add=TRUE, col=blue, lwd=2)
par(mfrow=mfrow)

Ou simplement: le nombre d'éléments dans un tableau numérique que vous êtes autorisé à modifier afin que la valeur de la statistique reste inchangée.

# for instance if:
x + y + z = 10

vous pouvez changer, par exemple, x et y au hasard, mais vous ne pouvez pas changer z (vous pouvez, mais pas au hasard, donc vous n'êtes pas libre de le changer - voir le commentaire de Harvey), parce que vous allez changer la valeur de la statistique (Σ = 10). Donc, dans ce cas, df = 2.

Le concept n’est pas du tout difficile à préciser en mathématiques compte tenu des connaissances générales en géométrie euclidienne à dimensions, en sous-espaces et en projections orthogonales.$n$

Si est une projection orthogonale de R n vers un sous-espace de dimension p L et x est un vecteur n arbitraire, alors P x est dans$P$$\mathbb{R}^n$$p$$L$$x$$n$$Px$ , x - P x et P x sont orthogonaux et x - P x ∈ L ⊥ est en le complément orthogonal de l . La dimension de ce complément orthogonal, L ⊥ , est n - p . Si$L$$x - Px$$Px$$x - Px \in L^{\perp}$$L$$L^{\perp}$$n-p$ est libre de varier dans unespace de dimension n , alors x - P x est libre de varier dans unespace de dimension n - p . Pour cette raison, nous disons que x - P x a n - p degrés de liberté.$x$$n$$x - Px$$n-p$$x - Px$$n-p$

Ces considérations sont importantes pour les statistiques car si $X$ est un vecteur aléatoire de dimension et que L est un modèle de sa moyenne, c'est-à-dire que le vecteur moyen E ( X ) est dans L , on appelle alors X - P X le vecteur des résidus. , et nous utilisons les résidus pour estimer la variance. Le vecteur de résidus a n - p degrés de liberté, c’est-à-dire qu’il est contraint à un sous-espace de dimension n - p .$n$$L$$E(X)$$L$$X-PX$$n-p$$n-p$

Si les coordonnées de sont indépendantes et normalement distribuées avec la même variance σ 2 alors$X$$\sigma^2$

• Les vecteurs et X - P X sont indépendants.$PX$$X - PX$
• Si $E(X) \in L$ la répartition de la norme au carré du vecteur des résidus est une distribution χ 2 avec le paramètre d'échelle σ 2 et un autre paramètre qui se trouve être les degrés de liberté n - p .$||X - PX||^2$$\chi^2$$\sigma^2$$n-p$

L'esquisse de la preuve de ces faits est donnée ci-dessous. Les deux résultats sont essentiels pour le développement ultérieur de la théorie statistique basée sur la distribution normale. Notez également que c’est la raison pour laquelle la distribution a le paramétrage dont elle dispose. Il est également un Γ -Distribution avec paramètre d'échelle 2 σ 2 et paramètre de forme ( n - p ) / 2 , mais dans le contexte ci - dessus , il est naturel de paramètrer en termes de degrés de liberté.$\chi^2$$\Gamma$$2\sigma^2$$(n-p)/2$

Je dois admettre que je ne trouve aucun des paragraphes cités dans l'article de Wikipedia particulièrement éclairant, mais ils ne sont pas non plus vraiment faux ou contradictoires. Ils disent de manière imprécise et générale que lorsque nous calculons l'estimation du paramètre de variance, mais que nous le faisons à partir de résidus, nous basons le calcul sur un vecteur qui ne peut varier que dans un espace de dimension .$n-p$

Au-delà de la théorie des modèles normaux linéaires, l’utilisation du concept de degrés de liberté peut être source de confusion. Il est utilisé, par exemple, dans la paramétrisation de la distribution qu'il y ait ou non une référence à tout ce qui pourrait avoir un degré de liberté quelconque. Lorsque nous examinons l'analyse statistique de données catégoriques, il peut y avoir une certaine confusion quant à savoir si les "éléments indépendants" doivent être comptés avant ou après une tabulation. De plus, pour les contraintes, même pour les modèles normaux, qui ne sont pas des contraintes de sous-espace, il n'est pas évident d'étendre le concept de degrés de liberté. Diverses suggestions existent généralement sous le nom de degrés de liberté effectifs .$\chi^2$

Avant de prendre en compte d’autres usages et significations des degrés de liberté, je recommanderai vivement de l’avoir à l'aise dans le contexte des modèles normaux linéaires. Un premier cours sur la théorie des modèles linéaires est une référence qui traite de cette classe de modèles. La préface du livre contient des références supplémentaires à d’autres ouvrages classiques sur les modèles linéaires.

La preuve des résultats ci - dessus: Soit , on notera que la matrice de variance est σ 2 I et choisir une base orthonormée z 1 , ... , z p de L et une base orthonormée z p + 1 , ... , z n de L ⊥ . Alors z 1 , … , z n est une base orthonormale de R n . Soit ˜ $\xi = E(X)$$\sigma^2 I$$z_1, \ldots, z_p$$L$$z_{p+1}, \ldots, z_n$$L^{\perp}$$z_1, \ldots, z_n$$\mathbb{R}^n$$\tilde{X}$désigner le -vector des coefficients de X dans cette base, qui est ~ X i = z T i X . Cela peut aussi être écrit ~ X = Z T X où Z est la matrice orthogonale avec les z i s » dans les colonnes. Ensuite, nous devons utiliser que ˜ X a une distribution normale avec la moyenne Z T ξ et, comme Z est orthogonal, la matrice de variance σ 2$n$$X$

$$\tilde{X}_i = z_i^T X.$$ $\tilde{X} = Z^T X$$Z$$z_i$$\tilde{X}$$Z^T \xi$$Z$$\sigma^2 I$ . Cela découle des résultats généraux de la transformation linéaire de la distribution normale. La base a été choisie de telle sorte que les coefficients de sont ~ X i pour i = 1 , ... , p , et les coefficients de X - P X sont ~ $PX$$\tilde{X}_i$$i= 1, \ldots, p$$X - PX$ pour i = p + 1 , ... , n . Puisque les coefficients ne sont pas corrélés et qu'ils sont tous deux normaux, ils sont indépendants, ce qui implique que P X = p ∑$\tilde{X}_i$$i= p+1, \ldots, n$ et X-PX= n Σ i = p + 1 ~ X izi sont indépendants. De plus | | X-PX| | 2= n Σ i = p + 1 ~ X 2 i . SiÇ∈LalorsE( ~ X $$PX = \sum_{i=1}^p \tilde{X}_i z_i$$ $$X - PX = \sum_{i=p+1}^n \tilde{X}_i z_i$$ $$||X - PX||^2 = \sum_{i=p+1}^n \tilde{X}_i^2.$$ $\xi \in L$ pour i = p + 1 , ... , n , car alors z i$E(\tilde{X}_i) = z_i^T \xi = 0$$i = p +1, \ldots, n$ et donc z i ⊥ ξ . Dans ce cas | $z_i \in L^{\perp}$$z_i \perp \xi$ est la somme de n - p indépendant N ( 0 , σ 2$||X - PX||^2$$n-p$$N(0, \sigma^2)$variables aléatoires distribuées, dont la distribution, par définition, est une distribution avec le paramètre d'échelle σ 2 et n - p degrés de liberté.$\chi^2$$\sigma^2$$n-p$

Ce n'est vraiment pas différent de la façon dont le terme "degrés de liberté" fonctionne dans n'importe quel autre domaine. Par exemple, supposons que vous ayez quatre variables: la longueur, la largeur, l'aire et le périmètre d'un rectangle. Savez-vous vraiment quatre choses? Non, car il n'y a que deux degrés de liberté. Si vous connaissez la longueur et la largeur, vous pouvez en déduire la surface et le périmètre. Si vous connaissez la longueur et la surface, vous pouvez en déduire la largeur et le périmètre. Si vous connaissez la superficie et le périmètre, vous pouvez en déduire la longueur et la largeur (jusqu'à la rotation). Si vous avez les quatre, vous pouvez soit dire que le système est cohérent (toutes les variables sont en accord), ou incohérent (aucun rectangle ne pourrait en réalité satisfaire toutes les conditions). Un carré est un rectangle avec un degré de liberté enlevé;

En statistiques, les choses deviennent plus floues, mais l'idée reste la même. Si toutes les données que vous utilisez en tant qu'entrée pour une fonction sont des variables indépendantes, vous avez autant de degrés de liberté que vous avez d'entrées. Mais si elles ont une dépendance, si bien que si vous aviez n -k entrées, vous pouviez calculer les k restants, vous n’aviez en fait que n-k degrés de liberté. Et parfois, vous devez en tenir compte, de peur de vous convaincre que les données sont plus fiables ou plus puissantes que prévu, en comptant plus de points de données que de véritables bits de données indépendants.

(Extrait d'un article sur http://www.reddit.com/r/math/comments/9qbut/could_someone_explain_to_me_what_degrees_of/c0dxtbq?context=3 .)

De plus, les trois définitions tentent presque de donner le même message.

J'aime vraiment la première phrase de Petit Manuel de pratique statistique. Chapitre Degrés de liberté

L’une des questions qu’un instructeur redoute le plus aux auditeurs non éclairés en mathématiques est la suivante: "Qu’est-ce que les degrés de liberté?"

Je pense que vous pouvez vraiment bien comprendre les degrés de liberté en lisant ce chapitre.

Wikipedia affirme que les degrés de liberté d'un vecteur aléatoire peuvent être interprétés comme les dimensions du sous-espace vectoriel. Je souhaite procéder étape par étape, essentiellement par le biais d’une réponse partielle et d’une élaboration de l’entrée Wikipedia.

L’exemple proposé est celui d’un vecteur aléatoire correspondant aux mesures d’une variable continue pour différents sujets, exprimé sous forme de vecteur partant de l’origine . Sa projection orthogonale sur le vecteur [ $[a\,b\,c]^T$ se traduit par un vecteur correspondant à la projection du vecteur des moyens de mesure ( ˉ x = 1 / trois ( a + b + c ) ),savoir [ ˉ $[1\,1\,1]^T$$\bar{x}=1/3(a+b+c)$, parsemée de la → 1 vecteur,[$[\bar x \, \bar x \, \bar x]^T$$\vec{1}$ Cette projection sur le sous-espace parcouru par le vecteur de uns a$[1\,1\,1]^T$ . Levecteurrésiduel(distance de la moyenne) est la projection des moindres carrés sur lecomplément orthogonal à la dimension ( n - 1 ) de ce sous-espace et a n - $1\,\text{degree of freedom}$$(n − 1)$ , n étant le nombre total de composants du vecteur (dans notre cas 3 puisque nous sommes dans R 3 dans l'exemple). Ceci peut être simplement prouvé en obtenant le produit scalaire de [ ˉ $n − 1\,\text{degrees of freedom}$$n$$3$$\mathbb{R}^3$avec la différence entre[$[\bar{x}\,\bar{x}\,\bar{x}]^T$ et [ ˉ $[a\,b\,c]^T$:$[\bar{x}\,\bar{x}\,\bar{x}]^T$

$$[\bar{x}\, \bar{x}\,\bar{x}]\, \begin{bmatrix} a-\bar{x}\\b-\bar{x}\\c-\bar{x}\end{bmatrix}=$$

$$= \bigg[\tiny\frac{(a+b+c)}{3}\, \bigg(a-\frac{(a+b+c)}{3}\bigg)\bigg]+ \bigg[\tiny\frac{(a+b+c)}{3} \,\bigg(b-\frac{(a+b+c)}{3}\bigg)\bigg]+ \bigg[\tiny\frac{(a+b+c)}{3} \,\bigg(c-\frac{(a+b+c)}{3}\bigg)\bigg]$$

$$=\tiny \frac{(a+b+c)}{3}\bigg[ \bigg(\tiny a-\frac{(a+b+c)}{3}\bigg)+ \bigg(b-\frac{(a+b+c)}{3}\bigg)+ \bigg(c-\frac{(a+b+c)}{3}\bigg)\bigg]$$

$$= \tiny \frac{(a+b+c)}{3}\bigg[\tiny \frac{1}{3} \bigg(\tiny 3a-(a+b+c)+ 3b-(a+b+c)+3c-(a+b+c)\bigg)\bigg]$$

.

$$=\tiny\frac{(a+b+c)}{3}\bigg[\tiny\frac{1}{3} (3a-3a+ 3b-3b+3c-3c)\bigg]\large= 0$$

Et cette relation s'étend à n’importe quel point d’un plan orthogonal à . Ce concept est important pour comprendre pourquoi$[\bar{x}\,\bar{x}\,\bar{x}]^T$ , une étape dans le calcul de la distribution t (icietici).$\frac 1 {\sigma^2} \Big((X_1-\bar X)^2 + \cdots + (X_n - \bar X)^2 \Big) \sim \chi^2_{n-1}$

Prenons le point , correspondant à trois observations. La moyenne est 55 et le vecteur [ $[35\,50\,80]^T$$55$ est la normale (orthogonale) à un plan, 55 x + 55 y + 55 z = D . En branchant les coordonnées du point dans l’équation du plan, D = - 9075 .$[55\,\,55\,\,55]^T$$55x + 55y + 55z = D$$D = -9075$

Nous pouvons maintenant choisir n’importe quel autre point de ce plan, et la moyenne de ses coordonnées va être , ce qui correspond géométriquement à sa projection sur le vecteur [ $55$ . Ainsi, pour chaque valeur moyenne (dans notre exemple, 55 ), nous pouvons choisir un nombre infini depairesde coordonnées dans R 2 sans restriction ($[1\,\,1\,\,1]^T$$55$$\mathbb{R}^2$ ); cependant, puisque le plan est dans R 3 , la troisième coordonnée sera déterminée par l'équation du plan (ou, géométriquement, par la projection orthogonale du point sur [ $2\,\text{degrees of freedom}$$\mathbb{R}^3$ .$[55\,\,55\,\,55]^T$

Voici la représentation de trois points (en blanc) situés sur le plan (bleu céruléen) orthogonaux à (flèche): [ $[55\,\,55\,\,55]^T$ , [ $[35\,\,50\,\,80]^T$ et [ $[80\,\,80\,\,5]$ tous dans l'avion (sous-espace avec$[90\,\,15\,\,60]$ ), puis avec une moyenne de leurs composantes de 55 et une projection orthogonale à [ $2\,\text{df}$$55$ (sous-espace avec$[1\,\,1\,\,1]^T$ ) égal à [ $1\,\text{df}$ :$[55\,\,55\,\,55]^T$

Dans mes cours, j’utilise une situation "simple" qui pourrait vous aider à vous poser des questions et peut-être développer un sentiment intestinal de ce que peut signifier un degré de liberté.

C'est une sorte d'approche "Forrest Gump" du sujet, mais ça vaut le coup d'essayer.

$X_1, X_2, \ldots, X_{10}\sim N(\mu,\sigma^2)$$\mu$$\sigma^2$

$\mu$$\sigma^2$$\mu$$\mu$$\mu$$\bar X$

$\sigma^2$$\sigma^2$$X_1$$X_{10}$

$\mu$$\sigma^2$$\mu$$\mu$$\sigma^2$

$\mu$$\bar X$$\mu$$\bar X$$\sigma^2$$S^2$$\sigma$

$\mu$$\sigma 2$$\bar X$$\mu$$S^2$$\sigma^2$

Mais vous pourriez être à différents niveaux de faux, variant d'un peu à vraiment, vraiment, vraiment mal (aussi, "Au revoir, chèque de paie; à la semaine prochaine!").

$\bar X$$\mu$$S^2=2$$S^2=20,000,000$$\sigma^2$$\sigma^2$$\bar X$ pour varier.

$\mu$$\sigma^2$$\mu$$\sigma^2$

Comment pouvez-vous le remarquer?

$\mu$$\sigma$

Et voici l'intrigue agaçante de ce récit lysergique: il vous le raconte après que vous ayez placé votre pari. Peut-être pour vous éclairer, peut-être pour vous préparer, peut-être pour vous moquer. Comment pourriez-vous savoir?

$\mu$$\sigma^2$$\bar X$$S^2$$\mu$$\sigma^2$

$\mu$$\bar X$$(\bar X - \mu)$

$X_i\sim N(\mu,\sigma^2)$$\bar X\sim N(\mu,\sigma^2/10)$$(\bar X - \mu)\sim N(0,\sigma^2/10)$

$$\frac{\bar X - \mu}{\sigma/\sqrt{10}} \sim N(0,1)$$ $\mu$$\sigma^2$

$\mu$$(X_i-\mu)$$N(0,\sigma^2)$$\mu$$\bar X$$X_i$$\bar X$$Var(\bar X) = \sigma^2/10 < \sigma^2 = Var(X_i)$$\bar X$$\mu$$X_i$

$(X_i-\mu)/\sigma\sim N(0,1)$$\mu$$\sigma^2$

$\mu$$\sigma^2$

[Je préfère penser que vous pensez à ce dernier.]

Oui il y a!

$\mu$$X_i$$\sigma$

$$\frac{(X_i-\mu)^2}{\sigma^2} = \left(\frac{X_i-\mu}{\sigma}\right)^2 \sim \chi^2$$ $Z^2$$Z\sim N(0,1)$$\mu$$\sigma^2$

$$\frac{(\bar X-\mu)^2}{\sigma^2/10} = \left(\frac{\bar X-\mu}{\sigma/\sqrt{10}}\right)^2 = \left(N(0,1)\right)^2 \sim\chi^2$$ and also from the gathering of your ten observations' variation: $$\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2/10} =\sum_{i=1}^{10} \left(\frac{X_i-\mu}{\sigma/\sqrt{10}}\right)^2 =\sum_{i=1}^{10} \left(N(0,1)\right)^2 =\sum_{i=1}^{10} \chi^2.$$ Now that last guy doesn't have a Chi-squared distribution, because he is the sum of ten of those Chi-squared distributions, all of them independent from one another (because so are $X_1, \ldots, X_{10}$). Each one of those single Chi-squared distribution is one contribution to the amount of random variability you should expect to face, with roughly the same amount of contribution to the sum.

The value of each contribution is not mathematically equal to the other nine, but all of them have the same expected behavior in distribution. In that sense, they are somehow symmetric.

Each one of those Chi-square is one contribution to the amount of pure, random variability you should expect in that sum.

If you had 100 observations, the sum above would be expected to be bigger just because it have more sources of contibutions.

Each of those "sources of contributions" with the same behavior can be called degree of freedom.

Now take one or two steps back, re-read the previous paragraphs if needed to accommodate the sudden arrival of your quested-for degree of freedom.

Yep, each degree of freedom can be thought of as one unit of variability that is obligatorily expected to occur and that brings nothing to the improvement of guessing of $\mu$ or $\sigma^2$.

The thing is, you start to count on the behavior of those 10 equivalent sources of variability. If you had 100 observations, you would have 100 independent equally-behaved sources of strictly random fluctuation to that sum.

That sum of 10 Chi-squares gets called a Chi-squared distributions with 10 degrees of freedom from now on, and written $\chi^2_{10}$. We can describe what to expect from it starting from its probability density function, that can be mathematically derived from the density from that single Chi-squared distribution (from now on called Chi-squared distribution with one degree of freedom and written $\chi^2_1$), that can be mathematically derived from the density of the normal distribution.

"So what?" --- you might be thinking --- "That is of any good only if God took the time to tell me the values of $\mu$ and $\sigma^2$, of all the things He could tell me!"

Indeed, if God Almighty were too busy to tell you the values of $\mu$ and $\sigma^2$, you would still have that 10 sources, that 10 degrees of freedom.

Things start to get weird (Hahahaha; only now!) when you rebel against God and try and get along all by yourself, without expecting Him to patronize you.

You have $\bar X$ and $S^2$, estimators for $\mu$ and $\sigma^2$. You can find your way to a safer bet.

You could consider calculating the sum above with $\bar X$ and $S^2$ in the places of $\mu$ and $\sigma^2$:

$$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{S^2/10} =\sum_{i=1}^{10} \left(\frac{X_i-\bar X}{S/\sqrt{10}}\right)^2,$$ but that is not the same as the original sum.

"Why not?" The term inside the square of both sums are very different. For instance, it is unlikely but possible that all your observations end up being larger than $\mu$, in which case $(X_i-\mu) > 0$, which implies $\sum_{i=1}^{10}(X_i-\mu) > 0$, but, by its turn, $\sum_{i=1}^{10}(X_i-\bar X) = 0$, because $\sum_{i=1}^{10}X_i-10 \bar X =10 \bar X - 10 \bar X = 0$.

Worse, you can prove easily (Hahahaha; right!) that $\sum_{i=1}^{10}(X_i-\bar X)^2 \le \sum_{i=1}^{10}(X_i-\mu)^2$ with strict inequality when at least two observations are different (which is not unusual).

"But wait! There's more!"

$$\frac{X_i-\bar X}{S/\sqrt{10}}$$ doesn't have standard normal distribution, $$\frac{(X_i-\bar X)^2}{S^2/10}$$ doesn't have Chi-squared distribution with one degree of freedom, $$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{S^2/10}$$ doesn't have Chi-squared distribution with 10 degrees of freedom $$\frac{\bar X-\mu}{S/\sqrt{10}}$$ doesn't have standard normal distribution.

"Was it all for nothing?"

No way. Now comes the magic! Note that

$$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{[X_i-\mu+\mu-\bar X]^2}{\sigma^2} =\sum_{i=1}^{10} \frac{[(X_i-\mu)-(\bar X-\mu)]^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2-2(X_i-\mu)(\bar X-\mu)+(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2-(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-\sum_{i=1}^{10} \frac{(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-10\frac{(\bar X-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2}-\frac{(\bar X-\mu)^2}{\sigma^2/10}$$ or, equivalently, $$\sum_{i=1}^{10} \frac{(X_i-\mu)^2}{\sigma^2} =\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} +\frac{(\bar X-\mu)^2}{\sigma^2/10}.$$ Now we get back to those known faces.

The first term has Chi-squared distribution with 10 degrees of freedom and the last term has Chi-squared distribution with one degree of freedom(!).

We simply split a Chi-square with 10 independent equally-behaved sources of variability in two parts, both positive: one part is a Chi-square with one source of variability and the other we can prove (leap of faith? win by W.O.?) to be also a Chi-square with 9 (= 10-1) independent equally-behaved sources of variability, with both parts independent from one another.

This is already a good news, since now we have its distribution.

Alas, it uses $\sigma^2$, to which we have no access (recall that God is amusing Himself on watching our struggle).

Well,

$$S^2=\frac{1}{10-1}\sum_{i=1}^{10} (X_i-\bar X)^2,$$ so $$\sum_{i=1}^{10} \frac{(X_i-\bar X)^2}{\sigma^2} =\frac{\sum_{i=1}^{10} (X_i-\bar X)^2}{\sigma^2} =\frac{(10-1)S^2}{\sigma^2} \sim\chi^2_{(10-1)}$$ therefore $$\frac{\bar X-\mu}{S/\sqrt{10}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\frac{S}{\sigma}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\sqrt{\frac{S^2}{\sigma^2}}} =\frac{\frac{\bar X-\mu}{\sigma/\sqrt{10}}}{\sqrt{\frac{\frac{(10-1)S^2}{\sigma^2}}{(10-1)}}} =\frac{N(0,1)}{\sqrt{\frac{\chi^2_{(10-1)}}{(10-1)}}},$$ which is a distribution that is not the standard normal, but whose density can be derived from the densities of the standard normal and the Chi-squared with $(10-1)$ degrees of freedom.

One very, very smart guy did that math[^1] in the beginning of 20th century and, as an unintended consequence, he made his boss the absolute world leader in the industry of Stout beer. I am talking about William Sealy Gosset (a.k.a. Student; yes, that Student, from the $t$ distribution) and Saint James's Gate Brewery (a.k.a. Guinness Brewery), of which I am a devout.

[^1]: @whuber told in the comments below that Gosset did not do the math, but guessed instead! I really don't know which feat is more surprising for that time.

That, my dear friend, is the origin of the $t$ distribution with $(10-1)$ degrees of freedom. The ratio of a standard normal and the squared root of an independent Chi-square divided by its degrees of freedom, which, in an unpredictable turn of tides, wind up describing the expected behavior of the estimation error you undergo when using the sample average $\bar X$ to estimate $\mu$ and using $S^2$ to estimate the variability of $\bar X$.

There you go. With an awful lot of technical details grossly swept behind the rug, but not depending solely on God's intervention to dangerously bet your whole paycheck.

An intuitive explanation of degrees of freedom is that they represent the number of independent pieces of information available in the data for estimating a parameter (i.e., unknown quantity) of interest.

As an example, in a simple linear regression model of the form:

$$Y_i=\beta_0 + \beta_1\cdot X_i + \epsilon_i,\quad i=1,\ldots, n$$

where the $\epsilon_i$'s represent independent normally distributed error terms with mean 0 and standard deviation $\sigma$, we use 1 degree of freedom to estimate the intercept $\beta_0$ and 1 degree of freedom to estimate the slope $\beta_1$. Since we started out with $n$ observations and used up 2 degrees of freedom (i.e., two independent pieces of information), we are left with $n-2$ degrees of freedom (i.e., $n-2$ independent pieces of information) available for estimating the error standard deviation $\sigma$.

You can see the degree of freedom as the number of observations minus the number of necessary relations among these observations. By exemple if you have $n$ sample of independant normal distribution observations $X_1,\dots,X_n$. The random variable $\sum_{i=1}^n (X_i-\overline{X}_n)^2\sim \mathcal{X}^2_{n-1}$, where $\overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_i$. The degree of freedom here is $n-1$ because, their is one necessary relation between theses observations $(\overline{X}_n = \frac{1}{n}\sum_{i=1}^n X_i)$.

For more information see this

For me the first explanation I understood was:

If you know some statistical value like mean or variation, how many variables of data you need to know before you can know the value of every variable?

This is the same as aL3xa said, but without giving any data point a special role and close to the third case given in the answer. In this way the same example would be:

If you know the mean of data, you need to know the values for all but one data point, to know the value to all data points.

Think of it this way. Variances are additive when independent. For example, suppose we are throwing darts at a board and we measure the standard deviations of the $x$ and $y$ displacements from the exact center of the board. Then $V_{x,y}=V_x+V_y$. But, $V_x=SD_x^2$ if we take the square root of the $V_{x,y}$ formula, we get the distance formula for orthogonal coordinates, $SD_{x,y}=\sqrt{SD_x^2+SD_y^2}$. Now all we have to show is that standard deviation is a representative measure of displacement away from the center of the dart board. Since $SD_x=\sqrt{\dfrac{\sum_{i=1}^n(x_i-\bar{x})^2}{n-1}}$, we have a ready means of discussing df. Note that when $n=1$, then $x_1-\bar{x}=0$ and the ratio $\dfrac{\sum_{i=1}^n(x_i-\bar{x})^2}{n-1}\rightarrow \dfrac{0}{0}$. In other words, there is no deviation to be had between one dart's $x$-coordinate and itself. The first time we have a deviation is for $n=2$ and there is only one of them, a duplicate. That duplicate deviation is the squared distance between $x_1$ or $x_2$ and $\bar{x}=\dfrac{x_1+x_2}{2}$ because $\bar{x}$ is the midpoint between or average of $x_1$ and $x_2$. In general, for $n$ distances we remove 1 because $\bar{x}$ is dependent on all $n$ of those distances. Now, $n-1$ represents the degrees of freedom because it normalizes for the number of unique outcomes to make an expected square distance. when divided into the sum of those square distances.