Existe-t-il un exemple de l’inégalité unilatérale de Chebyshev?

Je suis intéressé par la version unilatérale suivante de Cantelli de l'inégalité de Chebyshev :

P (X - E (X) \geq t) \leq \frac{V a r (X)}{V a r (X) + t^{2}} .

$\mathbb P(X - \mathbb E (X) \geq t) \leq \frac{\mathrm{Var}(X)}{\mathrm{Var}(X) + t^2} \,.$

En gros, si vous connaissez la moyenne et la variance de la population, vous pouvez calculer la limite supérieure de la probabilité d'observer une certaine valeur. (C'était ma compréhension au moins.)

Cependant, j'aimerais utiliser la moyenne et la variance de l'échantillon à la place de la moyenne et de la variance réelles de la population.

Je suppose que puisque cela introduirait plus d'incertitude, la limite supérieure augmenterait.

Existe-t-il une inégalité analogue à la précédente, mais utilisant la moyenne de l'échantillon et la variance?

Edit : L’analogue "exemple" de l’inégalité de Chebyshev (pas à sens unique) a été élaborée. La page Wikipedia contient quelques détails. Cependant, je ne suis pas sûr de savoir comment cela se traduirait par le cas unilatéral que j'ai ci-dessus.

— casandra
source

Merci Glen_b. C'est un problème assez intéressant. J'ai toujours pensé que l'inégalité de Chebyshev était puissante (puisqu'elle permet l'inférence statistique sans nécessiter de distribution de probabilité); donc être capable de l'utiliser avec la moyenne et la variance de l'échantillon serait assez impressionnant.

— casandra

Réponses:

Oui, nous pouvons obtenir un résultat analogue en utilisant la moyenne et la variance de l’échantillon, avec peut-être quelques surprises mineures dans le processus.

Premièrement, nous devons affiner un peu l’énoncé de la question et formuler quelques hypothèses. Il est important de noter qu'il est clair que nous ne pouvons pas espérer remplacer la variance de la population par la variance de l' échantillon du côté droit, car ce dernier est aléatoire ! Nous recentrons donc notre attention sur l'inégalité équivalente Au cas où il ne serait pas clair que ces valeurs soient équivalentes, notez que nous avons simplement remplacé par dans l'inégalité d'origine sans perte de généralité.

P (X - E X \geq t σ) \leq \frac{1}{1 + t^{2}} .

$\mathbb P\left( X - \mathbb E X \geq t \sigma \right) \leq \frac{1}{1+t^2} \>.$

t

$t$

t σ

$t \sigma$

Deuxièmement, nous supposons que nous avons un échantillon aléatoire et nous sommes intéressés à une limite supérieure pour la quantité analogue , où est la moyenne d' échantillon et est l’écart type de l’échantillon. $X_1,\ldots,X_n$ $\mathbb P(X_1 - \bar X \geq t S)$ $\bar X$ $S$

Un demi-pas en avant

Notez que déjà en appliquant la unilatérale inégalité Tchebychev originale , nous obtenons que $X_1 - \bar X$ où, qui estplus petitque le côté droit de la version d'origine. C'est logique! Toute réalisation particulière d’une variable aléatoire à partir d’un échantillon aura tendance à être (légèrement) plus proche de la moyenne de l’échantillon auquel elle contribue que de la moyenne de la population. Comme nous le verrons plus loin, nous allons remplacerparsous des hypothèses encore plus générales.

P (X_{1} - \bar{X} \geq t σ) \leq \frac{1}{1 + \frac{n}{n - 1} t^{2}}

$\mathbb P( X_1 - \bar X \geq t\sigma ) \leq \frac{1}{1 + \frac{n}{n-1}t^2}$

σ^{2} = V a r (X_{1})

$\sigma^2 = \mathrm{Var}(X_1)$

σ

$\sigma$

S

$S$

Un exemple de version de Chebyshev unilatéral

Revendication : Soit un échantillon aléatoire tel que . Ensuite, $X_1,\ldots,X_n$ $\mathbb P(S = 0) = 0$ En particulier, l'exemple de version de la liaison estplus étroitque la version d'origine.
$P (X_{1} - \bar{X} \geq t S) \leq \frac{1}{1 + \frac{n}{n - 1} t^{2}} .$ $\mathbb P(X_1 - \bar X \geq t S) \leq \frac{1}{1 + \frac{n}{n-1} t^2}\>.$

Remarque : Nous ne supposons pas que le ait une moyenne finie ou une variance! $X_i$

Preuve . L'idée est d'adapter la preuve de l'inégalité unilatérale de Chebyshev et d'utiliser la symétrie dans le processus. Tout d' abord, définissez pour de commodité notationnelle. Ensuite, observez que $Y_i = X_i - \bar X$

P (Y_{1} \geq t S) = \frac{1}{n} Σ_{je = 1}^{n} P (Y_{je} \geq t S) = E \frac{1}{n} Σ_{je = 1}^{n} 1_{(Y_{je} \geq t S)} .

$\mathbb P( Y_1 \geq t S ) = \frac{1}{n} \sum_{i=1}^n \mathbb P( Y_i \geq t S ) = \mathbb E \frac{1}{n} \sum_{i=1}^n \mathbf 1_{(Y_i \geq t S)} \>.$

Maintenant, pour tout , on , $c > 0$ $\{S > 0\}$

1_{(Y_{i} \geq t S)} = 1_{(Y_{i} + t c S \geq t S (1 + c))} \leq 1_{((Y_{i} + t c S)^{2} \geq t^{2} (1 + c)^{2} S^{2})} \leq \frac{(Y_{i} + t c S)^{2}}{t^{2} (1 + c)^{2} S^{2}} .

$\newcommand{I}[1]{\mathbf{1}_{(#1)}} \I{Y_i \geq t S} = \I{Y_i + t c S \geq t S (1+c)} \leq \I{(Y_i + t c S)^2 \geq t^2 (1+c)^2 S^2} \leq \frac{(Y_i + t c S)^2}{t^2(1+c)^2 S^2}\>.$

\frac{1}{n} \sum_{i} 1_{(Y_{i} \geq t S)} \leq \frac{1}{n} \sum_{i} \frac{(Y_{i} + t c S)^{2}}{t^{2} (1 + c)^{2} S^{2}} = \frac{(n - 1) S^{2} + n t^{2} c^{2} S^{2}}{n t^{2} (1 + c)^{2} S^{2}} = \frac{(n - 1) + n t^{2} c^{2}}{n t^{2} (1 + c)^{2}},

$\frac{1}{n} \sum_i \I{Y_i \geq t S} \leq \frac{1}{n} \sum_i \frac{(Y_i + t c S)^2}{t^2(1+c)^2 S^2} = \frac{(n-1)S^2 + n t^2 c^2 S^2}{n t^2 (1+c)^2 S^2} = \frac{(n-1) + n t^2 c^2}{n t^2 (1+c)^2} \>,$ since

\bar{Y} = 0

$\bar Y = 0$ and

\sum_{i} Y_{i}^{2} = (n - 1) S^{2}

$\sum_i Y_i^2 = (n-1)S^2$ .

The right-hand side is a constant (!), so taking expectations on both sides yields,

P (X_{1} - \bar{X} \geq t S) \leq \frac{(n - 1) + n t^{2} c^{2}}{n t^{2} (1 + c)^{2}} .

$\mathbb P(X_1 - \bar X \geq t S) \leq \frac{(n-1) + n t^2 c^2}{n t^2 (1+c)^2} \>.$ Finally, minimizing over

c

$c$ , yields

c = \frac{n - 1}{n t^{2}}

$c = \frac{n-1}{n t^2}$ , which after a little algebra establishes the result.

That pesky technical condition

Note that we had to assume $\mathbb P(S = 0) = 0$ in order to be able to divide by $S^2$ in the analysis. This is no problem for absolutely continuous distributions, but poses an inconvenience for discrete ones. For a discrete distribution, there is some probability that all observations are equal, in which case $0 = Y_i = t S = 0$ for all $i$ and $t > 0$ .

We can wiggle our way out by setting $q = \mathbb P(S = 0)$ . Then, a careful accounting of the argument shows that everything goes through virtually unchanged and we get

Corollary 1. For the case $q = \mathbb P(S = 0) > 0$ , we have
$P (X_{1} - \bar{X} \geq t S) \leq (1 - q) \frac{1}{1 + \frac{n}{n - 1} t^{2}} + q .$ $\mathbb P(X_1 - \bar X \geq t S) \leq (1-q) \frac{1}{1 + \frac{n}{n-1} t^2} + q \>.$

Proof. Split on the events $\{S > 0\}$ and $\{S = 0\}$ . The previous proof goes through for $\{S > 0\}$ and the case $\{S = 0\}$ is trivial.

A slightly cleaner inequality results if we replace the nonstrict inequality in the probability statement with a strict version.

Corollary 2. Let $q = \mathbb P(S = 0)$ (possibly zero). Then,
$P (X_{1} - \bar{X} > t S) \leq (1 - q) \frac{1}{1 + \frac{n}{n - 1} t^{2}} .$ $\mathbb P(X_1 - \bar X > t S) \leq (1-q) \frac{1}{1 + \frac{n}{n-1} t^2} \>.$

Final remark: The sample version of the inequality required no assumptions on $X$ (other than that it not be almost-surely constant in the nonstrict inequality case, which the original version also tacitly assumes), in essence, because the sample mean and sample variance always exist whether or not their population analogs do.

— cardinal
source

Ceci est juste un complément à la réponse ingénieuse de @ cardinal. Samuelson Inequality , indique que, pour un échantillon de taille $n$ , quand on a au moins trois valeurs distinctes du réalisé $x_i$ il est dit que

X_{je} - \bar{X} < s \sqrt{n - 1}, je = 1, . . . n

$x_i-\bar x < s\sqrt{n-1},\;\; i=1,...n$ où

s

$s$ est calculé sans la correction de biais,

s = {(\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2})}^{1 / 2}

$s= \left (\frac 1n\sum_{i=1}^n(x_i-\bar x)^2\right)^{1/2}$ .

Ensuite, en utilisant la notation de la réponse de Cardinal, nous pouvons affirmer que

P (X_{1} - \bar{X} \geq S \sqrt{n - 1}) = 0 une . s . [1]

$\mathbb P\left(X_1-\bar X \ge S\sqrt{n-1}\right) =0 \;\;a.s. \qquad [1]$

Puisque nous avons besoin de trois valeurs distinctes, nous aurons $S\neq 0$ par hypothèse. Donc mise $t=\sqrt{n-1}$ dans Inégalité de Cardinal (la version initiale) nous obtenons

P (X_{1} - \bar{X} \geq S \sqrt{n - 1}) \leq \frac{1}{1 + n}, [2]

$\mathbb P\left (X_1 - \bar X \geq S\sqrt{n-1}\right) \leq \frac{1}{1 + n}, \;\; \qquad [2]$

Éq. $[2]$ est bien sur compatible avec eq. $[1]$ . La combinaison des deux nous dit que l’inégalité de Cardinal est utile comme déclaration probabiliste pour $0< t < \sqrt{n-1}$ .

Si l'inégalité de Cardinal exige $S$ être calculé corrigé en biais (appelez le $\tilde S$ ) alors les équations deviennent

P (X_{1} - \bar{X} \geq \tilde{S} \frac{n - 1}{\sqrt{n}}) = 0 une . s . [1 une]

$\mathbb P\left(X_1-\bar X \ge \tilde S\frac{n-1}{\sqrt{n}}\right) =0 \;\;a.s. \qquad [1a]$

et nous choisissons $t= \frac{n-1}{\sqrt{n}}$ obtenir par l'inégalité de cardinal

P (X_{1} - \bar{X} \geq \tilde{S} \frac{n - 1}{\sqrt{n}}) \leq \frac{1}{n}, [2 une]

$\mathbb P\left (X_1 - \bar X \geq \tilde S\frac{n-1}{\sqrt{n}}\right) \leq \frac{1}{ n}, \;\; \qquad [2a]$ et l'intervalle probabilistiquement significatif pour

t

$t$ est

0 < t < \frac{n - 1}{\sqrt{n}} .

$0< t < \frac{n-1}{\sqrt{n}}.$

— Alecos Papadopoulos
source

(+1) Incidentally, as I was first considering this problem, the fact that

max_{i} | X_{i} - \bar{X} | \leq S \sqrt{n - 1}

$\max_i |X_i - \bar X| \leq S\sqrt{n-1}$ was actually the initial clue that the sample inequality should be tighter than the original. I wanted to squeeze that into my post, but couldn't find a (comfortable) place for it. I'm glad to see you mention it (actually a very slight improvement on it) here along with your very nice additional elaboration. Cheers.

— cardinal

Cheers @Cardinal, great answer -just clarify for me -does it matter for your Inequality how one defines the sample variance (bias-corrected or not)?

— Alecos Papadopoulos

Only ever so slightly. I used the bias-corrected sample variance. If you use

n

$n$ instead of

n - 1

$n-1$ to normalize, then you'll end up with

\frac{1 + t^{2} c^{2}}{t^{2} (1 + c)^{2}}

$\frac{1+t^2c^2}{t^2(1+c)^2}$ instead of

\frac{(n - 1) + n t^{2} c^{2}}{n t^{2} (1 + c)^{2}},

$\frac{(n-1) + n t^2c^2}{nt^2(1+c)^2} \,,$ which means the

n / (n - 1)

$n/(n-1)$ term in the final inequality will disappear. Thus, you'll get the same bound as in the original one-sided Chebyshev inequality in that case. (Assuming I've done the algebra correctly.) :-)

— cardinal

@Cardinal ...which means that the relevant equations in my answer are

1 a

$1a$ and

2 a

$2a$ , which means that your inequality tells us that for

t

$t$ chosen to activate Samuelson Inequality, the probability of the event we are examining, cannot be greater than

1 / n

$1/n$ , i.e. not greater than randomly choosing any one realized value from the sample... which somehow makes some hazy intuitive sense: what is proven certainly impossible in deterministic terms, when approached probabilistically its probability bound does not exceed equiprobability... not clear in my mind yet.

— Alecos Papadopoulos