Exemples d'une statistique qui n'est pas indépendante de la distribution de l'échantillon?

Ceci est la définition de la statistique sur wikipedia

Plus formellement, la théorie statistique définit une statistique comme une fonction d'un échantillon où la fonction elle-même est indépendante de la distribution de l'échantillon; c'est-à-dire que la fonction peut être indiquée avant la réalisation des données. Le terme statistique est utilisé à la fois pour la fonction et pour la valeur de la fonction sur un échantillon donné.

Je pense que je comprends la plupart de cette définition, mais la partie - où la fonction est indépendante de la distribution de l'échantillon, je n'ai pas été en mesure de trier.

Ma compréhension des statistiques jusqu'à présent

Un échantillon est un ensemble de réalisations d'un certain nombre de variables aléatoires indépendantes identiquement distribuées (iid) avec la distribution F (10 réalisations d'un lancer de dés équitables à 20 faces, 100 réalisations de 5 lancées d'un dés équitables à 6 faces, tirer au hasard 100 personnes dans une population).

Une fonction, dont le domaine est cet ensemble, et dont la plage est les nombres réels (ou peut-être qu'elle peut produire d'autres choses, comme un vecteur ou un autre objet mathématique ...) serait considérée comme une statistique .

Quand je pense à des exemples, la moyenne, la médiane, la variance ont tous un sens dans ce contexte. Ils sont fonction d'un ensemble de réalisations (mesures de la pression artérielle à partir d'un échantillon aléatoire). Je peux aussi voir comment un modèle de régression linéaire pourrait être considéré comme une statistique $y_{i} = \alpha + \beta \cdot x_{i}$ - n'est-ce pas simplement une fonction sur un ensemble de réalisations?

Où je suis confus

En supposant que ma compréhension ci-dessus est correcte, je n'ai pas pu comprendre où une fonction pourrait ne pas être indépendante de la distribution de l'échantillon. J'ai essayé de trouver un exemple pour le comprendre, mais pas de chance. Toute opinion serait très appréciée!

mathematical-statistics definition

— Jake Kirsch
source

Réponses:

Cette définition est une façon quelque peu maladroite de l'énoncer. Une "statistique" est toute fonction des valeurs observables. Tout ce que signifie cette définition, c'est qu'une statistique n'est qu'une fonction des valeurs observables, pas une fonction de la distribution ou de l'un de ses paramètres. Par exemple, si $X_1, X_2, ..., X_n \sim \text{N}(\mu, 1)$ puis une statistique serait une fonction $T(X_1,...,X_n)$ tandis que la fonction $H(X_1,....,X_n, \mu)$ ne serait pas une statistique, car elle dépend de $\mu$ . Voici quelques exemples supplémentaires:

\begin{aligned} Statistic & {\bar{X}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}, \\ Statistic & S_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - {\bar{X}}_{n})^{2}, \\ Not a statistic & D_{n} = {\bar{X}}_{n} - μ, \\ Not a statistic & p_{i} = N (x_{i} | μ, 1), \\ Not a statistic & Q = 10 μ . \end{aligned}

$\begin{equation} \begin{aligned} \text{Statistic} & & & & & \bar{X}_n = \frac{1}{n} \sum_{i=1}^n X_i, \\[12pt] \text{Statistic} & & & & & S_n^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X}_n)^2, \\[12pt] \text{Not a statistic} & & & & & D_n = \bar{X}_n - \mu, \\[12pt] \text{Not a statistic} & & & & & p_i = \text{N}(x_i | \mu, 1), \\[12pt] \text{Not a statistic} & & & & & Q = 10 \mu. \\[12pt] \end{aligned} \end{equation}$

Chaque statistique est fonction uniquement des valeurs observables, et non de leur distribution ou de ses paramètres. Il n'y a donc aucun exemple de statistique qui soit fonction de la distribution ou de ses paramètres (une telle fonction ne serait pas une statistique). Cependant, il est important de noter que la distribution d'une statistique (par opposition à la statistique elle-même) dépendra généralement de la distribution sous-jacente des valeurs. (Cela est vrai pour toutes les statistiques autres que les statistiques auxiliaires .)

Qu'en est-il d'une fonction dont les paramètres sont connus? Dans les commentaires ci-dessous, Alecos pose une excellente question de suivi. Qu'en est-il d'une fonction qui utilise une valeur hypothétique fixe du paramètre? Par exemple, qu'en est-il de la statistique $\sqrt{n} (\bar{x} - \mu)$ où $\mu = \mu_0$ est considérée comme étant égale à une valeur hypothétique connu $\mu_0 \in \mathbb{R}$ . Ici, la fonction est en effet une statistique, tant qu'elle est définie sur le domaine restreint de manière appropriée. Ainsila fonction $H_0: \mathbb{R}^n \rightarrow \mathbb{R}$ avec $H_0(x_1,...,x_n) = \sqrt{n} (\bar{x} - \mu_0)$ serait une statistique, mais la fonction $H: \mathbb{R}^{n+1} \rightarrow \mathbb{R}$ avec $H(x_1,...,x_n, \mu) = \sqrt{n} (\bar{x} - \mu)$ neseraitpasune statistique.

— Réintégrer Monica
source

Une réponse très utile, compte tenu du paramètre statistique sous-jacent dans le cadre de la non-statistique était particulièrement utile.

— Jake Kirsch

@CarlWitthoft Je ne comprends pas votre point. Si c'est une fonction des valeurs observables, alors c'est une statistique. Il peut être fonction d'un plus petit sous-ensemble des valeurs; cela peut toujours être une chose utile à considérer. Si vous voulez estimer la moyenne et que vous avez

observations, vous pouvez toujours regarder

si le coût du traitement des données est élevé et le coût de l'erreur est petit. Ou pour une raison quelconque, vous voudrez peut-être considérer deux estimations indépendantes de la moyenne, et pourriez considérer

10^{10}

$10^{10}$

(X_{1} + X_{2} + \dots + X_{1000}) / 1000

$(X_1+X_2+\dots+X_{1000})/1000$

. Ce sont encore des statistiques.

(X_{1} + \dots + X_{n / 2}) / (n / 2)

$(X_1+\dots+X_{n/2})/(n/2)$

(X_{n / 2 + 1} + \dots + X_{n}) / (n / 2)

$(X_{n/2+1}+\dots+X_n)/(n/2)$

— James Martin

Ces exemples me semblent tout à fait valables. Voulez-vous dire que l'idée de diviser les données en un ensemble de formation et un ensemble de validation n'est pas valide?

— James Martin

Je suis un peu confus par cela aussi. Permettez-moi de décrire le point @CarlWitthoft. Ce serait toujours une statistique en termes de définition mathématique, mais je pourrais voir un cas où un consultant prend une `` statistique '' d'observations, mais décide arbitrairement de supprimer quelques résultats (les consultants le font tout le temps, non?). Ce serait «valide» dans le sens où cela dépend toujours des observations, mais la façon dont les statistiques peuvent être présentées et interprétées ne serait probablement pas valide.

— Jake Kirsch

@Carl Withhoft: En ce qui concerne le point que vous soulevez, il est important de faire la distinction entre une statistique (qui ne doit pas nécessairement inclure toutes les données et peut ne pas englober toutes les informations de l'échantillon) et une statistique suffisante (qui englobera tous les les informations relatives à certains paramètres). La théorie statistique a déjà des concepts bien développés comme la suffisance qui captent l'idée qu'une statistique inclut toutes les informations pertinentes dans l'échantillon. Il n'est ni nécessaire ni souhaitable d'essayer d'intégrer cette exigence dans la définition d'une "statistique".

— Rétablir Monica

J'interprète cela comme disant que vous devez décider avant de voir les données quelle statistique vous allez calculer. Ainsi, par exemple, si vous voulez supprimer des valeurs aberrantes, vous devez décider avant de voir les données ce qui constitue une "valeur aberrante". Si vous décidez après avoir vu les données, votre fonction dépend des données.

— Accumulation
source

c'est aussi utile! Donc, prendre une décision sur les observations à inclure dans la fonction après avoir connu les observations disponibles, ce qui est plus ou moins ce que je décrivais dans mon commentaire sur la réponse précédente.

— Jake Kirsch

(+1) Il peut être utile de noter que cela est important car si vous définissez une règle a priori sur ce qui constitue un point de données qui sera supprimé, il est (relativement) facile de dériver une distribution pour la statistique (c.-à-d. Moyenne tronquée, etc. .). Il est vraiment difficile de dériver une distribution pour une mesure qui implique la suppression de points de données pour des raisons qui ne sont pas clairement définies au préalable.

— Cliff AB