Alternative de distribution empirique

PRIME:

La prime complète sera attribuée à quelqu'un qui fournit une référence à tout article publié qui utilise ou mentionne l'estimateur $\tilde{F}$ ci-dessous.

Motivation:

Cette section n'est probablement pas importante pour vous et je soupçonne qu'elle ne vous aidera pas à obtenir la prime, mais puisque quelqu'un a posé des questions sur la motivation, voici ce sur quoi je travaille.

Je travaille sur un problème de théorie des graphes statistiques. L'objet limitant le graphe dense standard $W : [0,1]^2 \to [0,1]$ est une fonction symétrique dans le sens où $W(u,v) = W(v,u)$ . L'échantillonnage d'un graphique sur $n$ sommets peut être considéré comme l'échantillonnage de $n$ valeurs uniformes sur l'intervalle unitaire ( $U_i$ pour $i = 1, \dots, n$ ), puis la probabilité d'une arête $(i,j)$ est $W(U_i, U_j)$ . Laissez la matrice de contiguïté résultante appelée $A$ .

On peut traiter comme une densité supposant que . Si nous estimons sur la base de sans aucune contrainte à , nous ne pouvons pas obtenir une estimation cohérente. J'ai trouvé un résultat intéressant sur l'estimation constante de lorsque provient d'un ensemble contraint de fonctions possibles. De cet estimateur et , nous pouvons estimer . $W$ $f = W / \iint W$ $\iint W > 0$ $f$ $A$ $f$ $f$ $f$ $\sum A$ $W$

Malheureusement, la méthode que j'ai trouvée montre de la cohérence lorsque nous échantillonnons à partir de la distribution avec la densité . La façon dont est construit nécessite que j'échantillonne une grille de points (par opposition à prendre des tirages à partir du origine ). Dans cette question stats.SE, je demande le problème unidimensionnel (plus simple) de ce qui se passe lorsque nous pouvons uniquement échantillonner l'échantillon de Bernoullis sur une grille comme celle-ci plutôt que d'échantillonner directement à partir de la distribution. $f$ $A$ $f$

références pour les limites du graphique:

L. Lovasz et B. Szegedy. Limites des séquences de graphes denses ( arxiv ).

C. Borgs, J. Chayes, L. Lovasz, V. Sos et K. Vesztergombi. Séquences convergentes de graphes denses i: fréquences de sous-graphes, propriétés métriques et tests. ( arxiv ).

Notation:

$F$ $f$ $[0,1]$ $f$ $F$ $\sup_{z \in [0,1]} f(z) = c < \infty$ $f$ $[0,1]$ $X \sim F$ $X$ $F$ $U_i$ $[0,1]$

Problème posé:

Souvent, nous pouvons laisser des variables aléatoires avec la distribution et travailler avec la fonction de distribution empirique habituelle comme où est la fonction d'indicateur. Notez que cette distribution empirique est elle-même aléatoire (où est fixe). $X_1, \dots, X_n$ $F$

{\hat{F}}_{n} (t) = \frac{1}{n} \sum_{i = 1}^{n} I {X_{i} \leq t}

$\hat{F}_n(t) = \frac{1}{n} \sum_{i=1}^n I\{X_i \leq t\}$

I

$I$

{\hat{F}}_{n} (t)

$\hat{F}_n(t)$

t

$t$

Malheureusement, je ne suis pas en mesure de prélever des échantillons directement à partir . Cependant, je sais que n'a un support positif que sur , et je peux générer des variables aléatoires où est une variable aléatoire avec une distribution de Bernoulli avec une probabilité de succès où et sont définis ci-dessus. Donc, . Une façon évidente d'estimer partir de ces valeurs est de prendre où $F$ $f$ $[0,1]$ $Y_1, \dots, Y_n$ $Y_i$

p_{i} = f ((i - 1 + U_{i}) / n) / c

$p_i = f((i-1+U_i)/n)/c$

c

$c$

U_{i}

$U_i$

Y_{i} \sim Bern (p_{i})

$Y_i \sim \text{Bern}(p_i)$

F

$F$

Y_{i}

$Y_i$

{\tilde{F}}_{n} (t) = \frac{1}{\sum_{i = 1}^{n} Y_{i}} \sum_{i = 1}^{⌈ t n ⌉} Y_{i}

$\tilde{F}_n(t) = \frac{1}{\sum_{i=1}^n Y_i} \sum_{i=1}^{\lceil tn \rceil} Y_i$

⌈ \cdot ⌉

$\lceil \cdot \rceil$ est la fonction de plafond (c'est-à-dire, arrondissez à l'entier le plus proche), et redessinez si (pour éviter de diviser par zéro et de faire s'effondrer l'univers) . Notez que est également une variable aléatoire car les sont des variables aléatoires.

\sum_{i = 1}^{n} Y_{i} = 0

$\sum_{i=1}^n Y_i = 0$

\tilde{F} (t)

$\tilde{F}(t)$

Y_{i}

$Y_i$

Des questions:

De (ce que je pense être) du plus facile au plus difficile.

Est-ce que quelqu'un sait si ce (ou quelque chose de similaire) a un nom? Pouvez-vous fournir une référence où je peux voir certaines de ses propriétés? $\tilde{F}_n$
Comme , un estimateur cohérent de (et pouvez-vous le prouver)? $n \to \infty$ $\tilde{F}_n(t)$ $F(t)$
Quelle est la distribution limite de comme ? $\tilde{F}_n(t)$ $n \to \infty$
Idéalement, je voudrais limiter ce qui suit en fonction de - par exemple, , mais je ne sais pas quelle est la vérité. Le signifie Big O en probabilité $n$ $O_P(\log(n) /\sqrt{n})$ $O_P$

sup_{C \subset [0, 1]} \int_{C} | {\tilde{F}}_{n} (t) - F (t) | d t

$\sup_{C \subset [0,1]} \int_C |\tilde{F}_n(t) - F(t)| \, dt$

Quelques idées et notes:

Cela ressemble beaucoup à un échantillonnage d'acceptation-rejet avec une stratification basée sur une grille. Notez que ce n'est pas le cas, car nous ne tirons pas un autre échantillon si nous rejetons la proposition.
Je suis sûr que ce est biaisé. Je pense que l'alternative est impartiale, mais elle a la propriété désagréable que . $\tilde{F}_n$
${\tilde{F^{*}}}_{n} (t) = \frac{c}{n} \sum_{i = 1}^{⌈ t n ⌉} Y_{i}$ $\tilde{F^*}_n(t) = \frac{c}{n} \sum_{i=1}^{\lceil tn \rceil} Y_i$ $\mathbb{P}\left(\tilde{F^*}(1) = 1\right) < 1$
Je souhaite utiliser comme estimateur de plug-in . Je ne pense pas que ce soit une information utile, mais vous connaissez peut-être une raison pour laquelle cela pourrait être. $\tilde{F}_n$

Exemple en R

Voici du code R si vous voulez comparer la distribution empirique avec . Désolé, une partie de l'indentation est erronée ... Je ne vois pas comment résoudre ce problème. $\tilde{F}_n$

# sample from a beta distribution with parameters a and b
a <- 4 # make this > 1 to get the mode right
b <- 1.1 # make this > 1 to get the mode right
qD <- function(x){qbeta(x, a, b)} # inverse
dD <- function(x){dbeta(x, a, b)} # density
pD <- function(x){pbeta(x, a, b)} # cdf
mD <- dbeta((a-1)/(a+b-2), a, b) # maximum value sup_z f(z)


# draw samples for the empirical distribution and \tilde{F}
draw <- function(n){ # n is the number of observations
  u <- sort(runif(n)) 
  x <- qD(u) # samples for empirical dist
  z <- 0 # keep track of how many y_i == 1
  # take bernoulli samples at the points s
  s <- seq(0,1-1/n,length=n) + runif(n,0,1/n) 
  p <- dD(s) # density at s
  while(z == 0){ # make sure we get at least one y_i == 1
    y <- rbinom(rep(1,n), 1, p/mD) # y_i that we sampled
    z <- sum(y)
  }
  result <- list(x=x, y=y, z=z)
  return(result)
}

sim <- function(simdat, n, w){
  # F hat -- empirical dist at w
  fh <- mean(simdat$x < w) 
  # F tilde
  ft <- sum(simdat$y[1:ceiling(n*w)])/simdat$z
  # Uncomment this if we want an unbiased estimate.
  # This can take on values > 1 which is undesirable for a cdf.
  ### ft <- sum(simdat$y[1:ceiling(n*w)]) * (mD / n)
  return(c(fh, ft))
}


set.seed(1) # for reproducibility

n <- 50 # number observations
w <- 0.5555 # some value to test this at (called t above)
reps <- 1000 # look at this many values of Fhat(w) and Ftilde(w)
# simulate this data
samps <- replicate(reps, sim(draw(n), n, w))

# compare the true value to the empirical means
pD(w) # the truth 
apply(samps, 1, mean) # sample mean of (Fhat(w), Ftilde(w))
apply(samps, 1, var)  # sample variance of (Fhat(w), Ftilde(w))
apply((samps - pD(w))^2, 1, mean) # variance around truth


# now lets look at what a single realization might look like
dat <- draw(n)
plot(NA, xlim=0:1, ylim=0:1, xlab="t", ylab="empirical cdf",
     main="comparing ECDF (red), Ftilde (blue), true CDF (black)")
s <- seq(0,1,length=1000)
lines(s, pD(s), lwd=3) # truth in black
abline(h=0:1)
lines(c(0,rep(dat$x,each=2),Inf),
     rep(seq(0,1,length=n+1),each=2),
     col="red")
lines(c(0,rep(which(dat$y==1)/n, each=2),1),
      rep(seq(0,1,length=dat$z+1),each=2),
      col="blue")

sortie des données ci-dessus

MODIFICATIONS:

EDIT 1 -

J'ai modifié cela pour répondre aux commentaires de @ whuber.

EDIT 2 -

J'ai ajouté du code R et l'ai nettoyé un peu plus. J'ai légèrement changé la notation pour la lisibilité, mais c'est essentiellement la même chose. Je prévois de mettre une prime à ce sujet dès que je suis autorisé à le faire, alors s'il vous plaît laissez-moi savoir si vous souhaitez plus de clarifications.

EDIT 3 -

Je pense avoir répondu aux remarques de @ cardinal. J'ai corrigé les fautes de frappe dans la variation totale. J'ajoute une prime.

EDIT 4 -

Ajout d'une section "motivation" pour @cardinal.

— user1448319
source

Votre question a commencé à devenir ambiguë au moment où vous avez fait référence à des objets non définis et à utiliser une notation idiosyncratique. Par exemple, apparaît tôt mais n'a aucun lien apparent avec et ce n'est qu'en lisant bien plus loin que nous apprenons que vous le considérez comme "pas une distribution discrète" - mais de quel type d'objet s'agit-il? Surtout, que signifie " ?" "signifie généralement supremum mais peut-être que cela a quelque chose à voir avec le support essentiel d'une distribution? Parce que tout dans la question dépend de ce que cela signifie, je ne peux pas avoir de sens de la question.

f

$f$

F

$F$

sup_{z} f (z)

$\sup_z f(z)$

sup

$\sup$

— whuber

Merci @whuber pour vos commentaires. Veuillez me faire savoir si la question révisée prête toujours à confusion.

— user1448319

Ah! C'est la première indication que j'ai vu que n'est pas fixe et que vous vous intéressez aux asymptotiques. S'il est vrai que vous avez la possibilité de choisir , cela n'ouvre-t-il pas une multitude de possibilités, telles que des choix adaptatifs des points d'échantillonnage (plutôt que de se limiter à une grille fixe )? Il est également évident que vous faites des hypothèses non déclarées, telles que est continu (de manière équivalente, est absolument continu ). Que pouvez-vous supposer d'autre sur la distribution sous-jacente qui peut aider à cette analyse?

n

$n$

n

$n$

{i / n}

$\{i/n\}$

f

$f$

F

$F$

F

$F$

— whuber

Quelques autres questions / remarques: Il semble implicitement basé sur la façon dont vous proposez de construire que vous envisagez vraiment un tableau triangulaire , aux fins de l'analyse de convergence. D'après la façon dont vous construisez le , il semble que vous devriez également pouvoir (tout aussi facilement) échantillonner des variables aléatoires de Bernoulli avec une probabilité conditionnelle de succès où est une variable aléatoire uniforme. Est-ce vrai? (Un peu plus de contexte pour votre question résoudrait probablement beaucoup de ces questions.) Cheers.

p_{i}

$p_i$

Y_{i, n}

$Y_{i,n}$

i = 1, \dots, n

$i=1,\ldots,n$

p_{i}

$p_i$

f (U) / c

$f(U)/c$

U

$U$

— Cardinal

Cette question a été tellement améliorée que je ne l'ai même pas reconnue jusqu'à ce que je réalise que j'avais déjà vu les commentaires. C'est maintenant une question vraiment intéressante et beaucoup plus écrite.

— Glen_b -Reinstate Monica

Réponses:

Bien que cette référence

EDIT: AJOUT DE RÉFÉRENCE À DES STATISTIQUES TRÈS SIMILAIRES "Estimation non paramétrique à partir d'observations incomplètes" EL Kaplan et Paul Meier, Journal de l'American Statistical Association, Vol. 53, n ° 282 (juin. 1958), pp. 457-481

$[0,1]$ $[0,\infty)$

L'estimation du biais serait possible une fois que vous avez une estimation raisonnable de la distribution via le lissage du noyau si elle se comporte assez bien (voir, par exemple, la transformation de Khmaladze sur Wikipédia).

$f = W / \iint W$ $A$

— James Prichard
source

Cela répond aux questions 2 et 3 ci-dessus. Je veux quand même vraiment une référence (de la question 1).

$\sum Y_i = 0$

$g(A,B) = A/(A+B)$

\begin{aligned} g_{A} (A, B) & = (A + B)^{- 1} + A (A + B)^{- 2} \\ g_{B} (A, B) & = - A (A + B)^{- 2} \\ g_{A A} (A, B) & = 2 B (A + B)^{- 3} \\ g_{A B} (A, B) & = (A - B) (A + B)^{- 3} \\ g_{B B} (B, B) & = 2 A (A + B)^{- 3} \end{aligned}

$\begin{align} g_A(A,B) &= (A+B)^{-1} + A(A+B)^{-2}\\ g_B(A,B) &= -A(A+B)^{-2}\\ g_{AA}(A,B) &= 2B(A+B)^{-3}\\ g_{AB}(A,B) &= (A-B)(A+B)^{-3}\\ g_{BB}(B,B) &= 2A(A+B)^{-3} \end{align}$

p_{i} = f ((i - 1 + U_{i}) / n) / c

$p_i = f((i-1+U_i)/n)/c$

\begin{aligned} R = \frac{1}{n} \sum_{i = 1}^{⌈ n t ⌉} Y_{i}, & μ_{R} = E (R) = \int_{0}^{t} p (u) d u = c^{- 1} F (t) \\ S = \frac{1}{n} \sum_{⌈ n t ⌉ + 1}^{n} Y_{i}, & μ_{S} = E (S) = \int_{t}^{1} p (u) d u = c^{- 1} (1 - F (t)) \end{aligned}

$\begin{align} R = \frac{1}{n}\sum_{i=1}^{\lceil nt \rceil} Y_i, \quad& \mu_R = \mathbb{E}(R) = \int_0^t p(u) \, d u = c^{-1}F(t)\\ S = \frac{1}{n}\sum_{\lceil nt \rceil +1}^n Y_i, \quad& \mu_S = \mathbb{E}(S) = \int_t^1 p(u) \, d u = c^{-1}(1-F(t)) \end{align}$

μ_{R} + μ_{S} = c^{- 1} F (t) + c^{- 1} (1 - F (t)) = c^{- 1}

$\mu_R + \mu_S = c^{-1}F(t) + c^{-1}(1-F(t)) = c^{-1}$

g (μ_{R}, μ_{S}) = F (t)

$g(\mu_R, \mu_S) = F(t)$

\begin{aligned} Var (R) & = \frac{1}{n^{2}} \sum_{i = 1}^{⌈ n t ⌉} Var (Y_{i}) = \frac{1}{n} \int_{0}^{t} f (u) / c (1 - f (u) / c) d u = \frac{1}{n c^{2}} \int_{0}^{t} f (u) (c - f (u)) d u \\ Var (S) & = \frac{1}{n c^{2}} \int_{t}^{1} f (u) (c - f (u)) d u \end{aligned}

$\begin{align} \text{ Var}(R) &= \frac{1}{n^2} \sum_{i=1}^{\lceil nt \rceil} \text{ Var}(Y_i) = \frac{1}{n} \int_0^t f(u)/c(1-f(u)/c) \, d u = \frac{1}{nc^2} \int_0^t f(u)(c-f(u)) \, d u\\ \text{ Var}(S) &= \frac{1}{nc^2} \int_t^1 f(u)(c-f(u)) \, d u \end{align}$

Cov (R, S) = 0

$\text{ Cov}(R,S) = 0$

Y_{i}

$Y_i$

Maintenant, nous utilisons une extension taylor pour obtenir

\begin{aligned} E ({\tilde{F}}_{n} (t)) = E (\frac{1}{\sum_{i = 1}^{n} Y_{i}} \sum_{i = 1}^{⌈ t n ⌉} Y_{i}) = E (\frac{n R}{n R + n S}) = E (\frac{R}{R + S}) = E (g (R, S)) \\ = g (μ_{R}, μ_{S}) + \frac{1}{2} E ((R - μ_{R})^{2}) g_{R R} (μ_{R}, μ_{S}) \\ + E ((R - μ_{R}) (S - μ_{S})) g_{R S} (μ_{R}, μ_{S}) + \frac{1}{2} E ((S - μ_{S})^{2}) g_{S S} (μ_{R}, μ_{S}) + \dots \\ = F (t) + \frac{1}{2} E ((R - μ_{R})^{2}) 2 μ_{S} (μ_{R} + μ_{S})^{- 3} \\ + E ((R - μ_{R}) (S - μ_{S})) (μ_{R} - μ_{S}) (μ_{R} + μ_{S})^{- 3} \\ + \frac{1}{2} E ((S - μ_{S})^{2}) 2 μ_{R} (μ_{R} + μ_{S})^{- 3} + \dots \\ = F (t) + (μ_{R} + μ_{S})^{- 3} (E ((R - μ_{R})^{2}) μ_{S} + E ((R - μ_{R}) (S - μ_{S})) (μ_{R} - μ_{S}) \\ + E ((S - μ_{S})^{2}) μ_{R}) + \dots \\ = F (t) + c^{3} (Var (R) c (1 - F (t)) \\ + Cov (R, S) (c F (t) - c (1 - F (t))) + Var (S) c F (t)) + \dots \\ = F (t) + c^{4} ((\frac{1}{n} \int_{0}^{t} f (u) (c - f (u)) d u) (1 - F (t)) \\ + (\frac{1}{n} \int_{t}^{1} f (u) (c - f (u)) d u) F (t)) + \dots \\ = F (t) + {\tilde{V}}_{F (t)} / n + \dots \\ = F (t) + O (n^{- 1}) \end{aligned}

$\begin{align} &\mathbb{E}\left(\tilde{F}_n(t)\right) =\mathbb{E}\left( \frac{1}{\sum_{i=1}^n Y_i} \sum_{i=1}^{\lceil tn \rceil} Y_i \right) =\mathbb{E}\left(\frac{nR}{nR+nS}\right) =\mathbb{E}\left(\frac{R}{R+S}\right) =\mathbb{E}\left(g(R,S)\right)\\ &=g(\mu_R,\mu_S) + \frac{1}{2}\mathbb{E}((R - \mu_R)^2)g_{RR}(\mu_R, \mu_S) \nonumber\\ &\quad + \mathbb{E}((R - \mu_R)(S-\mu_S))g_{RS}(\mu_R, \mu_S) + \frac{1}{2}\mathbb{E}((S - \mu_S)^2)g_{SS}(\mu_R, \mu_S) + \dots \\ &= F(t) + \frac{1}{2}\mathbb{E}((R - \mu_R)^2)2\mu_S(\mu_R+\mu_S)^{-3} \nonumber\\ &\quad + \mathbb{E}((R - \mu_R)(S-\mu_S))(\mu_R-\mu_S)(\mu_R+\mu_S)^{-3} \nonumber\\ &\quad + \frac{1}{2}\mathbb{E}((S - \mu_S)^2) 2\mu_R(\mu_R+\mu_S)^{-3} + \dots\\ &= F(t) + (\mu_R+\mu_S)^{-3} \bigg( \mathbb{E}((R - \mu_R)^2)\mu_S + \mathbb{E}((R - \mu_R)(S-\mu_S))(\mu_R-\mu_S) \nonumber\\ &\quad + \mathbb{E}((S - \mu_S)^2) \mu_R \bigg) + \dots \\ &= F(t) + c^3 \left( \text{ Var}(R)c(1-F(t)) \right. \nonumber\\ &\quad + \left.\text{ Cov}(R,S)(cF(t) - c(1-F(t))) + \text{ Var}(S) cF(t) \right) + \dots \\ &= F(t) + c^4 \left( \left(\frac{1}{n} \int_0^t f(u)(c-f(u)) \, d u\right) (1-F(t)) \right. \nonumber\\ &\quad \left. + \left(\frac{1}{n} \int_t^1 f(u)(c-f(u)) \, d u \right) F(t) \right) + \dots\\ &= F(t) + \tilde{V}_{F(t)}/n + \dots\\ &= F(t) + {\cal O}(n^{-1}) \end{align}$

\begin{aligned} {\tilde{V}}_{F (t)} & = c^{2} (\int_{0}^{t} f (u) (c - f (u)) d u) (1 - F (t)) + c^{2} (\int_{t}^{1} f (u) (c - f (u)) d u) F (t) \\ < c^{2} (\int_{0}^{t} c f (u) d u) (1 - F (t)) + c^{2} (\int_{t}^{1} c f (u) d u) F (t) \\ < c^{3} 2 F (t) (1 - F (t)) \end{aligned}

$\begin{align} \tilde{V}_{F(t)} &= c^2\left(\int_0^t f(u)(c-f(u)) \, d u\right) (1-F(t)) + c^2\left(\int_t^1 f(u)(c-f(u)) \, d u \right) F(t)\\ &< c^2\left( \int_0^t cf(u) \, d u\right)(1 - F(t)) + c^2\left( \int_t^1 cf(u) \, d u\right)F(t)\\ &< c^3 2F(t)(1-F(t)) \end{align}$

\begin{aligned} \sqrt{n} ({\tilde{F}}_{n} (t) - F (t)) \overset{d}{\to} N (0, V_{F (t)}) \end{aligned}

$\begin{align} \sqrt{n}\left(\tilde{F}_n(t) - F(t)\right) \overset{d}{\to} N(0,V_{F(t)}) \end{align}$

Veuillez commenter si vous voyez quelque chose de mal à cela.

MODIFICATIONS:

Modifier 1 -

$V_{F(t)}$

Modifier 2 -

$c^{-1}$ $c$ $\sum Y_i = 0$

— user1448319
source

{\tilde{F}}_{n} (t)

$\tilde F_n(t)$

\sum_{i} Y_{i} = 0

$\sum_i Y_i = 0$

{\tilde{F}}_{n} (t)

$\tilde F_n(t)$ , il sera donc plus propre (et plus correct) si vous suivez cette voie.

— Cardinal

sup_{C \subset [0, 1]} \int_{C} | \tilde{F} - F | \leq sup_{[0, 1]} | \tilde{F} - {\tilde{F}}^{⋆} | + \int_{0}^{1} | {\tilde{F}}^{⋆} - E {\tilde{F}}^{⋆} | + O (n^{- 1}) .

$\sup_{C\subset [0,1]} \int_C |\tilde F - F| \leq \sup_{[0,1]} |\tilde F - \tilde F^{\star}| + \int_0^1 |\tilde F^\star - \mathbb E \tilde F^\star| + O(n^{-1})\>.$

{\sum_{i} Y_{i} > 0}

$\{\sum_i Y_i > 0\}$

\leq | 1 - c n^{- 1} \sum_{i} Y_{i} |

$\leq |1 - c n^{-1}\sum_i Y_i|$

O_{p} (n^{- 1 / 2})

$\mathcal O_p(n^{-1/2})$

O_{p} (n^{- 1 / 2})

$\mathcal O_p(n^{-1/2})$

— cardinal

\sum_{i} Y_{i} = 0

$\sum_i Y_i = 0$

Y_{i}

$Y_i$

{\sum_{i} Y_{i} > 0}

$\{\sum_i Y_i > 0\}$

n = 2

$n=2$

2 \times 2

$2 \times 2$

sup_{C} \int_{C} | \tilde{F} - F | = \int_{0}^{1} | \tilde{F} - F |

$\sup_C \int_C |\tilde F - F| = \int_0^1 |\tilde F - F|$